Penelitian ini bertujuan untuk mengetahui kualitas butir soal Ujian Akhir Semester gasal mata pelajaran kimia kelas XII MIPA tahun pelajaran 2018/2019 yang dibuat oleh MKKS (Musyawarah Kerja Kepala Sekolah) Surakarta. Analisis butir soal pada penelitian ini dilakukan dengan pendekatan modern (teori respon butir) menggunakan model Rasch dengan software Winstep serta pendekatan klasik menggunakan program Iteman. Penelitian ini merupakan penelitian kualitatif dengan metode deskriptif. Data diperoleh melalui metode dokumentasi, yaitu 35 butir soal pilihan ganda dengan 213 responden.
Hasil analisis dengan menggunakan pendekatan klasik dan modern ditinjau dari nilai reliabilitasnya, instrumen tes tersebut termasuk kategori sangat baik. Dengan pendekatan teori tes klasik menggunakan Iteman diperoleh reliabilitas sebesar 0,846 dan dengan pendekatan modern menggunakan  model Rasch reliabilitas instrumennya sebesar 0,85. Dalam model Rasch dapat diketahui juga nilai reliabilitas butir soal dan responden yaitu sebesar 0,81 dan 0,96. Jika dilihat dari indeks tingkat kesukaran, terdapat perbedaan dari hasil analisis melalui dua pendekatan tersebut. Berdasarkan pendekatakan teori tes klasik, instrumen tes belum memiliki kualitas yang baik karena tingkat kesukarannya kurang beragam, sedangkan hasil analisis melalui model Rasch menunjukkan tingkat kesukaran yang beragam yaitu mudah, sedang dan sulit. Begitu juga pada indeks daya pembeda, hasil dari Iteman menunjukkan bahwa daya beda soal tersebut beragam, ada yang baik, cukup, dan jelek. Sementara menggunakan model Rasch, semua soalnya memiliki daya beda yang baik.
Kata kunci: Analisis butir soal, Rasch model, teori respon butir (IRT), Iteman,  teori klasik (CTT)