Penelitian ini bertujuan untuk mengetahui kualitas butir soal ditinjau dari validitas, reliabilitas, daya beda, taraf kesukaran, dan efektivitas distraktor. Metode dalam penelitian ini adalah deskriptif studi kasus. Analisis dilakukan dengan menggunakan program ITEMAN 4.5. Kualitas  butir soal PAT Kimia Kelas X MIPA di SMA Muhammadiyah 1 Karanganyar tahun pelajaran 2021/2022 diperoleh 94,29% soal dinyatakan valid. Reliabilitas butir soal PAT pada penelitian ini masuk kriteria sangat tinggi dengan nilai reliabilitas alpha sebesar 0,907. Butir soal PAT ini memiliki 3 taraf soal, yaitu mudah, sedang dan sukar dengan persentase masing-masing sebesar 8,57%, 80%, dan 11,43% di mana jika dibandingkan dengan penelitian butir soal lain yang dibuat oleh kelompok guru menunjukkan butir soal sama-sama dominan berisi soal bertaraf sedang. Butir soal PAT mempunyai daya beda di atas 0,4 sebanyak 65,70% dengan kategori baik hingga baik sekali. Kemudian, distraktor butir soal dalam penelitian ini yang seluruh distraktor berfungsi efektif sebanyak 45,72% total soal.