Analisis konten HOTS menggunakan semua indikator HOTS yang disertai analisis dari segi konstruksi dan bahasa pada soal dapat diperoleh gambaran kevalidan soal secara kualitatif. Tujuan penelitian ini meliputi: (1) menganalisis keterpenuhan dan persentase indikator High Order Thinking Skill pada soal Penilaian Akhir Semester (PAS) dan Penilaian Akhir Tahun (PAT) matapelajaran kimia Tahun Pelajaran 2019/2020 di Kota Surakarta; (2) menganalisis keterpenuhan indikator segi konstruksi dan bahasa pada item soal yang berkategorikan High Order Thinking Skill.
Penelitian ini merupakan jenis penelitian kualitatif. Desain penelitian yang digunakan pada penelitian ini adalah jenis analisis isi/konten. Data pada penelitian ini adalah gambaran keterpenuhan dan persentase indikator High Order Thinking Skill, indikator segi konstruksi, dan bahasa pada soal PAS dan PAT. Sumber data berupa Soal PAS dan PAT Kimia Kelas XI Tahun Pelajaran 2019/2020 di Kota Surakarta. Teknik pengumpulan data dilakukan menggunakan instrumen penilaian High Order Thinking Skill (HOTS) yang berupa lembar ceklist dan berisi beberapa aspek penilaian meliputi: aspek High Order Thinking Skill, aspek konstruksi, dan aspek bahasa. Validitas data menggunakan teknik triangulasi antar peneliti. Reliabilitas data menggunkan nilai Koefisien Kesepakatan (KK) antar rater. Analisis data menggunakan teknik analisis kualitatif yang mempunyai langkah analisis: reduksi data, display data, dan penarikan kesimpulan/verifikasi.
Hasil penelitian menunjukkan bahwa dari 6 paket soal yang dianalisis pada penelitian ini, paket soal yang memiliki item soal berkategorikan High Order Thinking Skill adalah PAS Kimia Tahun Pelajaran 2019/2020 yang berasal dari SMA A. Hasil tersebut berdasarkan kesepakatan rater 1, rater 2, dan persetujuan expert judgement. Paket soal tersebut memiliki 5 item soal yang berkategorikan HOTS yaitu: item soal nomor 1 (C4), nomor 2 (C5), nomor 4 (C5), nomor 28 (C4), dan nomor 1 uraian (C4). Item-item soal tersebut juga mempunyai konstruksi dan bahasa yang baik. Persentase dimensi C4 dan C5 pada paket soal tersebut berturut-turut adalah 10% dan 5%. Dimensi C6 tidak terdapat pada paket soal tersebut. Paket soal PAS SMA B dan SMA C serta PAT SMA A, SMA B, dan SMA C tidak memiliki item soal yang memenuhi semua indikator High Order Thinking Skill (HOTS).

Kata kunci: penelitian kualitatif, analisis konten, triangulasi antar peneliti, High Order Thinking Skill, analisis segi konstruksi, analisis segi bahasa