Penelitian ini bertujuan untuk mengetahui hasil analisis butir soal penilaian akhir semester (PAS) mata pelajaran Ekonomi kelas XI di SMA Negeri 1 Karanganyar yang belum dianalisis sebelumnya yang berupa: (1) daya beda soal; (2) tingkat kesukaran; (3) efektivitas distraktor; (4) kesesuaian dengan kaidah penulisan soal; dan (5) level kognitif soal.

Penelitian ini merupakan penelitian deskriptif-evaluatif yang dilakukan dengan metode kualitatif dan kuantitatif. Selain itu, penelitian ini adalah penelitian populasi, di mana semua sampel dalam penelitian ini akan dianalisis. Objek penelitian ini adalah 100 butir soal PAS yang dikerjakan oleh 120 siswa sebagai responden. Teknik pengumpulan data menggunakan metode dokumentasi. Adapun sumber data diambil dari naskah soal PAS, butir jawaban siswa, kisi-kisi, dan kunci jawaban. Analisis data kuantitatif menggunakan uji beda dengan bantuan program AnBuso versi 8.0 sedangkan data kualitatif dianalisis menggunakan teknik analisis konten.

Hasil penelitian menunjukkan bahwa soal PAS yang diujikan di SMA Negeri 1 Karanganyar telah memiliki kualitas yang baik dengan rincian sebagai berikut: (1) soal memiliki indeks daya beda yang cukup baik;  (2)  naskah soal didominasi dengan soal yang memiliki tingkat kesukaran sedang; (3) hampir sebanyak 80% distraktor yang masuk kategori functional distractor; (4) sebagian besar naskah soal telah sesuai dengan kaidah penulisan soal; dan (5) soal yang diujikan didominasi soal yang masuk dalam kategori level kognitif 1.