Penelitian ini bertujuan untuk: 1) mengembangkan instrumen penilaian testlet yang memiliki nilai validitas, reliabilitas, tingkat kesukaran, daya beda, dan indeks pengecoh yang baik; 2) mengetahui kelayakan butir soal yang digunakan pada instrumen penilaian testlet sebagai soal yang baik; 3) mengembangkan instrumen yang dapat mengukur literasi sains; dan 4) mengembangkan instrumen penilaian pada materi termokimia yang dapat mengukur literasi sains. Penelitian dilakukan di dua sekolah di Kabupaten Karanganyar, yaitu SMA N 1 Colomadu dan SMA N 1 Gondangrejo. Penelitian dan pengembangan ini menggunakan prosedur Borg and Gall yang dimodifikasi menjadi 9 tahap yaitu: 1) penelitian pendahuluan dan pengumpulan informasi, 2) perencanaan, 3) pengembangan bentuk awal produk, 4) uji lapangan awal, 5) revisi produk utama, 6) uji lapangan utama, 7) revisi produk operasional, 8) uji lapangan operasional, dan 9) revisi produk akhir. Analisis data dilakukan menggunakan software Iteman untuk mengetahui kelayakan soal. Hasil penelitian dan pengembangan ini dapat disimpulkan bahwa: 1) instrumen penilaian testlet yang dikembangkan memiliki nilai validitas, reliabilitas, tingkat kesukaran, daya beda, dan indeks pengecoh yang baik; 2) butir soal yang digunakan pada instrumen penilaian testlet dinyatakan layak dan memenuhi kriteria sebagai soal yang baik; 3) instrumen yang dikembangkan dapat mengukur literasi sains; dan 4) instrumen penilaian yang dikembangkan pada materi termokimia dapat digunakan untuk mengukur literasi sains dan diperoleh bahwa literasi sains siswa di kedua sekolah masih relatif rendah.