Salah satu cara untuk mengetahui kualitas penilaian adalah dengan melakukan assessmen dalam bentuk soal. Salah satu hal yang dapat dilakukan untuk mengembangkan soal-soal menjadi soal yang berkualitas adalah dengan cara mengintegrasikan indikator Higher Order Thinking Skills (HOTS). Tujuan penelitian ini adalah menganalisis persentase soal HOTS pada penilaian akhir tahun berdasarkan level berpikir dan keterpenuhan berdasarkan stimulus soal. Penelitian ini merupakan penelitian deskriptif kualitatif dengan mengkategorikan serta menghitung persentase kandungan soal HOTS berdasarkan level berpikir menganalisis (C4), mengevaluasi (C5), dan mencipta (C6) dan menganalisis keterpenuhan persentase muatan berdasarkan badan standar nasional pendidikan. Pengumpulan data  menggunakan teknik dokumentasi dan melibatkan rater dalam analisis data. Sasaran penelitian berupa soal penilaian akhir tahun sains kelas VIII tahun ajaran 2018/2019 dan 2019/2020 dari tiga madrasah tsanawiyah. Sekolah dipilih berdasarkan pertimbangan adanya kesenjangan antara akreditasi sekolah dengan hasil nilai ujian nasional sains. Hasil penelitian menunjukkan bahwa kandungan soal yang bermuatan HOTS berdasarkan level berpikir pada dokumen I yakni soal C4  sebanyak 10%, C5 sebanyak 2,5%, C6 sebanyak 0%.   Dokumen II memuat soal C4 sebanyak 13,3%, C5 sebanyak 3,3%, C6 sebanyak 0%.   Dokumen III memuat soal C4 sebanyak 4%, C5 sebanyak dan C6 sebanyak 0%.  Dokumen IV memuat soal C4 sebanyak 8,6%, C5 sebanyak 0%, dan C6 sebanyak 2,9%. Stimulus yang digunakan pada soal HOTS belum memenuhi semua indikator.. Berdasarkan hasil penelitian dapat disimpulkan bahwa tidak semua dokumen soal memenuhi standar kandungan soal HOTS berdasarkan badan standar nasional pendidikan yakni 10-15% dan beberapa soal tidak memenuhi semua indikator stimulus. Permasalahan tersebut berdampak pada potensi peserta didik yang kurang maksimal karena standar kompetensi lulusan tidak tercapai secara maksimal.