Tujuan penelitian menganalisis (1) persentase komposisi level kemampuan kognitif soal Asesmen Sumatif Akhir Semester genap mata pelajaran kimia kelas X SMA Negeri 1 Sukoharjo tahun pelajaran 2022/2023, (2) kualitas aspek materi, konstruksi, dan bahasa soal Asesmen Sumatif Akhir Semester genap mata pelajaran kimia kelas X SMA Negeri 1 Sukoharjo tahun pelajaran 2022/2023, dan (3) kualitas data empirik soal Asesmen Sumatif Akhir Semester genap mata pelajaran kimia kelas X SMA Negeri 1 Sukoharjo tahun pelajaran 2022/2023. Penelitian merupakan penelitian kualitatif deskriptif yang dilaksanakan beberapa tahap meliputi tahap awal penyusunan proposal skripsi dan instrumen penilaian, serta perizinan pihak sekolah. Tahap selanjutnya yaitu pengumpulan data, analisis data, dan kesimpulan. Teknik pengumpulan data dengan teknik dokumentasi data berupa jawaban peserta didik, soal buatan guru, dan kisi-kisi soal. Validitas data untuk analisis komposisi level kognitif dan aspek materi, konstruksi, dan bahasa menggunakan triangulasi antar peneliti dan reliabilitas dilakukan dengan menghitung nilai Koefisien Kesepakatan (KK). Analisis kualitas butir soal berdasarkan data empirik dilakukan dengan bantuan program winsteps menggunakan pemodelan rasch. Hasil penelitian menunjukkan bahwa komposisi level kemampuan kognitif pada soal Asesmen Sumatif Akhir Semester genap mata pelajaran kimia kelas X SMA Negeri 1 Sukoharjo tahun pelajaran 2022/2023 terdiri dari 91,18 % soal MOTS dan 8,82 % soal HOTS. Kualitas butir soal yang ditinjau dari aspek materi, konstruksi, dan bahasa yaitu sebanyak 26 soal memiliki kualittas sangat baik dan 8 soal memiliki kualitas baik. Kualitas butir soal yang ditinjau dari data empirik terdapat 11 soal memiliki kualitas sangat baik, 9 soal memiliki kualitas baik, 11 soal memiliki kualitas soal sedang, dan 3 soal memiliki kualitas soal buruk.