Penelitian ini bertujuan untuk (1) Menganalisis keterpenuhan dan persentase indikator High Order Thinking Skill soal Penilaian Akhir Semester (PAS) pada mata pelajaran kimia kelas XI MIPA di SMA Negeri 4 Surakarta Tahun Ajaran 2021/2021 dan 2021/2022, (2) Mengetahui kualitas butir soal pilihan ganda Penilaian Akhir Semester (PAS) pada mata pelajaran kimia kelas XI MIPA di SMA Negeri 4 Surakarta Tahun Ajaran 2021/2021 dan 2021/2022 ditinjau dari validitas, reliabilitas, daya beda, tingkat kesukaran, dan efektivitas pengecoh menggunakan program Iteman, dan (3) Mengetahui kualitas butir soal isian Penilaian Akhir Semester (PAS) pada mata pelajaran kimia kelas XI MIPA di SMA Negeri 4 Surakarta Tahun Ajaran 2021/2021 dan 2021/2022 ditinjau dari validitas, reliabilitas, tingkat kesukaran, dan daya beda menggunakan program SPSS. Penelitian ini merupakan penelitian kualitatif jenis analisis konten dan kuantitatif dengan metode deskriptif. Pengumpulan data dilakukan dengan metode dokumentasi. Validitas data kualitatif dilakukan dengan triangulasi antar peneliti dan reliabilitas dilakukan dengan menghitung nilai Koefisien Kesepakatan (KK). Analisis parameter butir soal dilakukan dengan bantuan program Iteman versi 3.00 dan SPSS versi 23. Hasil penelitian analisis konten High Order Thinking Skill ditinjau dari keterpenuhan indikator HOTS, konstruksi, dan bahasa menunjukkan bahwa soal Penilaian Akhir Semester pada Mata Pelajaran Kimia kelas XI SMA Negeri 4 Surakarta Tahun Ajaran 2020/2021 dan 2021/2022 menunjukkan bahwa soal tersebut belum memenuhi indikator HOTS namun telah memenuhi indikator konstruksi dan bahasa. Hasil analisis parameter butir soal PAS Tahun Ajaran 2020/2021 menunjukkan bahwa 97% soal valid dan 3% tidak valid. Reliabilitas yang diperoleh sebesar 0,727 untuk soal pilihan ganda dan soal isian memiliki nilai reliabilitas sebesar 0,639. Daya beda soal pilihan ganda sebanyak 44?rkategori cukup baik dan 60% soal isian  termasuk kategori baik. Tingkat kesukaran 80?lam kategori mudah dan efektivitas pengecoh belum berfungsi dengan baik. Hasil analisis untuk soal PAS Tahun Ajaran 2021/2022 terdapat 97% soal valid dan 3% tidak valid. Reliabilitas yang diperoleh sebesar 0,872 untuk soal pilihan ganda dan soal isian memiliki nilai reliabilitas sebesar 0,759. Daya beda soal pilihan ganda sebanyak 76?rkategori baik dan 60% soal isian  termasuk kategori baik sekali. Tingkat kesukaran 73?lam kategori mudah dan efektivitas pengecoh belum berfungsi dengan baik. Kualitas butir soal sebagian besar termasuk kategori cukup baik.