Dalam proses pembelajaran, diperlukan melakukan evaluasi untuk mengetahui hasil belajar peserta didik. Hasil evaluasi dijadikan sebagai proses pembelajaran untuk lebih baik pada periode selanjutnya. Instrumen yang biasa digunakan sebagai alat evaluasi pembelajaran yaitu tes. Tes yang diberikan kepada peserta didik perlu dikaji untuk mengetahui apakah butir soal tersebut sudah memenuhi kriteria soal yang baik atau tidak. Berdasarkan hasil wawancara di SMA Batik 1 Surakarta diketahui bahwa soal Penilaian Akhir Tahun untuk kelas x belum dilakukan analisis butir soal. Soal Penilaian Akhir Tahun tersebut dibuat oleh guru mata pelajaran kimia kelas X MIPA.
Penelitian ini bertujuan untuk mengetahui: (1) kualitas butir soal penilaian akhir tahun dilihat dari kesesuaian butir soal dengan indikator soal, (2) kualitas butir soal penilaian akhir tahun dari distribusi jenjang ranah kognitif Taksonomi Bloom,
(3) kualitas butir soal penilaian akhir tahun dilihat dari validitas butir soal, reliabilitas tes, tingkat kesukaran, daya pembeda dan efektivitas pengecoh. Metode dalam penelitian ini adalah deskripitif kuantitatif dengan menggunakan aplikasi Anates dan perhitungan manual berbantuan Microsoft Excel. Hasil penelitian menunjukkan bahwa (1) kualitas soal ditinjau dari kesesuaian butir soal dengan indikator soal sebesar 82.5%, (2) kualitas butir soal ditinjau dari distribusi jenjang ranah kognitif taksonomi Bloom diketahui penyebaran soal tidak merata dengan perbandingan 1:5:14:0:0:0, (3) validitas butir soal memiliki kualitas baik dimana hasilnya menunjukkan 95% butir soal dinyatakan valid, (4) reliabilitas tes yang diperoleh sebesar 0,91 yang menunjukkan butir soal tersebut reliabel, (5) Tingkat kesukaran pada soal menunjukkan soal memiliki tingkat kesukaran dengan kategori mudah dengan persentase 77,5%, (6) daya beda pada soal menunjukkan soal memiliki daya beda dengan kategori cukup baik dengan persentase 55%, (7) Efektivitas pengecoh pada soal menunjukkan soal memiliki efektivitas pengecoh dengan kategori cukup baik dengan persentase 42,5%. Berdasarkan hasil tersebut terdapat 6 butir soal diterima, 27 butir soal diperbaiki dan 7 butir soal dibuang. Dengan demikian, secara keseluruhan menyatakan bahwa kualitas butir soal penilaian akhir tahun (PAT) mata pelajaran kimia kelas x di SMA Batik 1 Surakarta tahun ajaran 2019/2020 termasuk soal yang kurang baik.

Kata Kunci : Evaluasi Pembelajaran, Analisis Butir Soal, Anates.