Penelitian ini bertujuan untuk menganalisis kualitas soal literasi matematika berbasis kecerdasan buatan (AI) yang dihasilkan oleh ChatGPT, khususnya ditinjau dari komponen konteks literasi matematika yang terdiri atas konteks personal, occupational, societal, dan scientific berdasarkan kerangka penilaian PISA. Fokus penelitian diarahkan pada kesesuaian soal-soal tersebut dengan capaian pembelajaran Fase D dalam Kurikulum Merdeka. Penelitian menggunakan pendekatan kualitatif deskriptif. Sampel dalam penelitian ini diambil menggunakan teknik purposive sampling. Pengumpulan data dalam penelitian ini dilakukan dengan menggunakan dokumen. Teknik keabsahan data yang digunakan dalam penelitian ini adalah triangulasi. Objek berupa sepuluh soal matematika yang dihasilkan oleh ChatGPT berdasarkan capaian pembelajaran Fase D dalam Kurikulum Merdeka. Subjek penelitian melibatkan dua guru matematika jenjang SMP sebagai validator untuk keperluan triangulasi sumber.
Hasil penelitian menunjukkan bahwa soal ChatGPT yang dianalisis mengandung konteks personal dan occupational, sementara konteks societal dan scientific masih kurang terwakili secara mendalam. Seluruh soal memenuhi kriteria soal yang baik dari segi kejelasan, keterkaitan dengan materi, tingkat kesukaran, dan objektivitas. Temuan ini menunjukkan bahwa ChatGPT memiliki potensi dalam menghasilkan soal literasi matematika, namun tetap memerlukan pengawasan dan penyuntingan oleh pendidik untuk memastikan kualitas soal sesuai kebutuhan pembelajaran.. Temuan ini menunjukkan bahwa meskipun ChatGPT memiliki potensi sebagai alat bantu guru dalam menyusun soal literasi matematika, intervensi dan evaluasi oleh pendidik tetap diperlukan untuk menjamin kualitas konteks dan kedalaman kognitif. Penelitian ini memberi kontribusi terhadap pengembangan asesmen AI yang relevan dengan literasi matematika dan konteks kurikulum nasional.
