Penelitian ini bertujuan untuk: 1) menentukan kelayakan instrumen Computerized Testlet yang dikembangkan ditinjau dari validitas, reliabilitas, tingkat kesukaran, daya pembeda, dan indeks pengecoh dalam menganalisis keterampilan literasi Kimia dan keterampilan berpikir kritis peserta didik SMA pada materi Hidrokarbon dan Minyak Bumi, 2) menentukan aplikabilitas instrumen Computerized Testlet untuk evaluasi pada pembelajaran Kimia SMA.
Pengembangan instrumen Testlet ini disesuaikan dengan Assessment and Teaching of 21st Century. Penelitian ini merupakan penelitian pengembangan menggunakan metode mixed-method design yang bertujuan untuk mengembangkan instrumen Computerized Testlet untuk menganalisis keterampilan literasi Kimia dan berpikir kritis siswa SMA kelas XI pada materi Hidrokarbon dan Minyak Bumi. Pengujian instrumen dilakukan dengan mengikuti tahapan penelitian pengembangan Akker (1999), yaitu: 1)  pemeriksaan pendahuluan (preliminary investigation), 2) penyesuaian teoritis (theoritical embedding), 3)  pengujian empiris (empirical testing), 4) dokumentasi, analisis, dan refleksi (documentation, analysis, and reflection).
Berdasarkan hasil pengujian produk, instrumen Computerized Testlet yang dikembangkan layak digunakan (fit) untuk menganalisis keterampilan literasi Kimia dan keterampilan berpikir kritis peserta didik SMA pada materi Hidrokarbon dan Minyak Bumi di sekolah tingkat tinggi, sedang, dan rendah ditinjau dari hasil uji validitas, reliabilitas, tingkat kesukaran, daya pembeda, dan indeks pengecoh. Namun, terdapat beberapa distraktor pada aitem nomor 5 dan 14 yang tidak bekerja dengan baik pada pengujian di sekolah tingkat sedang dan tinggi, namun tetap bekerja dengan baik di sekolah tingkat rendah. Instrumen Computerized Testlet juga terbukti aplikatif apabila digunakan sebagai instrumen evaluasi pada pembelajaran Kimia SMA baik di sekolah tingkat tinggi, sedang, maupun rendah

Kata Kunci: Computerized Testlet, Literasi Kimia, Keterampilan Berpikir Kritis