Pada Kurikulum Merdeka, penilaian diarahkan pada prinsip asesmen berkelanjutan. Pelaksanaan asesmen sebagai bagian dari kegiatan intrakurikuler siswa dapat menjadi jembatan untuk mengembangkan karakter siswa sesuai dengan Profil Pelajar Pancasila. Untuk mengukur ketercapaian pembelajaran tersebut, diperlukan kualitas soal yang baik yang dapat dilakukan melalui analisis butir soal. Penelitian ini bertujuan untuk (1) mengetahui kualitas butir  soal asesmen sumatif PTS Kimia kelas XI IPA SMA Al Islam 1 Surakarta menggunakan Anates, (2) mengetahui kualitas butir  soal asesmen sumatif PTS Kimia kelas XI IPA SMA Al Islam 1 Surakarta menggunakan Rasch model, dan (3) mengetahui analisis individu dari responden ditinjau dari person fit, person measure, dan differential item functioning (DIF). Penelitian ini menggunakan metode penelitian kombinasi kualitatif dan kuantitatif. Sampel diambil dengan purposive sampling pada siswa kelas XI IPA SMA Al Islam 1 Surakarta. Sumber data berasal dari sumber primer berupa naskah soal,  respon jawaban, kunci jawaban, rubrik penilaian, kisi-kisi, dan guru mata pelajaran sebagai pengembang instrumen tes. Hasil penelitian menunjukkan menggunakan Anates diketahui 100% soal valid dengan korelasi tinggi sebesar 0,87; reliabilitas sangat baik (Alpha Cronbach=0,93); daya beda pada 70% soal baik, 20% soal cukup baik, dan 10% soal sedang; dan tingkat kesukaran terdiri dari  30% soal mudah dan 70% soal sedang. Pada analisis menggunakan Rasch diperoleh hasil 90% soal valid; reliabilitas item sempurna (Alpha Cronbach=0,98) dan reliabilitas person bagus (Alpha Cronbach=0,85); 100% soal memiliki daya beda baik; dan terdapat 30% soal sangat mudah, 40% soal sulit, dan 30% soal sangat sulit. Dari analisis individu diketahui 22 siswa tergolong misfit; terdapat kelompok siswa atas (nilai measure maksimal) dan kelompok bawah; serta butir soal nomor 5 dan 9 mengandung bias terhadap gender.