Evaluasi merupakan bagian penting dari pembelajaran, sehingga diperlukan instrumen evaluasi yang baik agar diperoleh informasi yang tepat mengenai hasil belajar. Penelitian ini bertujuan untuk mengetahui 1) Kualitas secara kualitatif berdasarkan kesesuaian aspek materi, aspek konstruksi, dan aspek bahasa 2) Kualitas secara kuantitatif berdasarkan iteman dan rasch ditinjau dari validitas, reliabilitas, tingkat kesukaran, daya beda, dan efektivitas pengecoh 3) Keterpenuhan level kognitif Taksonomi Marzano pada soal Penilaian Akhir Semester Ganjil Mata Pelajaran Kimia Kelas XII SMAN 1 Madiun Tahun Pelajaran 2020/2021.

Penelitian ini menggunakan metode deskriptif kualitatif. Pendekatan yang digunakan adalah pendekatan non interaktif. Analisis kualitatif butir soal pada penelitian ini berdasarkan acuan penulisan soal berdasar aspek materi, konstruksi dan bahasa serta indikator taksonomi Marzano. Analisis kuantitatif butir soal dilakukan dengan teori klasik menggunakan program Iteman dan teori modern menggunakan program Winstep. Sumber data pada penelitian ini adalah lembar soal Penilaian Akhir Semester Ganjil Mata Pelajaran Kimia Kelas XII SMA N 1 Madiun Tahun Pelajaran 2020/2021, respon jawaban siswa, dan data mengenai kompetensi dasar dan indikator kompetensi pelajaran kimia kelas XII IPA semester ganjil SMA N 1 Madiun.

Berdasarkan hasil penelitian, dapat disimpulkan bahwa: 1) Hasil analisis secara kualitatif, 26,67% soal tidak sesuai aspek materi, 16,67% tidak sesuai aspek konstruksi dan 6,67% tidak sesuai aspek bahasa. 2) Hasil analisis kuantitatif berdasarkan iteman ditinjau dari validitasnya, 93,33% soal sudah valid; reliabilitas soal tinggi dengan koefisien alpha 0,78; tingkat kesukaran soal 10% soal sukar, 90% soal sedang; daya beda soal sudah baik; efektivitas pengecoh soal sudah berfungsi. Hasil analisis berdasarkan model rasch ditinjau dari validitasnya, 86,67% soal sudah valid; reliabilitas soal cukup dengan koefisien alpha 0,78; tingkat kesukaran soal 3,33% soal sangat sulit, 40% soal sulit, 56,67% soal mudah; daya beda soal sudah baik; efektivitas pengecoh soal sudah berfungsi. 3) Keterpenuhan level kognitif taksonomi Marzano pada soal penilaian akhir semester ganjil mata pelajaran kimia kelas XII SMA N 1 Madiun tahun pelajaran 2020/2021 yaitu 10% soal level pemanggilan pengetahuan, 16,67% soal level pemahaman pengetahuan dan 73,33% soal level analisis pengetahuan.