Penelitian yang telah dilakukan ini bertujuan untuk menganalisis kualitas butir soal Penilaian Akhir Semester (PAS) mata pelajaran kimia SMA Negeri di Kabupaten Sukoharjo dengan menggunakan model Rasch ditinjau dari : (1) Validitas; (2) Reliabilitas; (3) Daya beda; (4) Tingkat kesukaran; dan (5) Efektivitas pengecoh. Penelitian ini telah dilakukan menggunakan metode penelitian deskriptif kuantitatif. Sampel yang digunakan berupa 3 sekolah SMA negeri di Kabupaten Sukoharjo. Teknik pengumpulan data menggunakan teknik dokumentasi, berupa 9 set soal beserta kunci jawaban dan respon jawaban peserta didik sebanyak 2.269 respon dengan rincian SMA R 555, SMA S 784, dan SMA T 429 respon. Teknik analisis data pada penelitian ini menggunakan model Rasch dengan bantuan program Winstep 3.73. Proses analisis data dengan cara mendeskripsikan hasil analisis soal PAS kimia SMA Negeri di Kabupaten Sukoharjo ditinjau dari validitas, reliabilitas, daya beda, tingkat kesukaran, dan efektivitas pengecoh. Hasil penelitian yang telah dilakukan menunjukkan bahwa: (1) butir soal valid, (2) reliabilitas baik, (3) daya beda baik, (4) tingkat kesukaran soal belum tersebar secara merata, (5) pengecoh belum berfungsi dengan baik.