Interpretabilitas Model Transformer dalam Analisis Sentimen pada Bencana Banjir Sumatra 2025

Oleh :
Muhammad Saifuddin Eka Nugraha - L0122115 - Fak. Teknologi Informasi dan Sains Data

Bencana banjir Sumatra 2025 memicu berbagai respons masyarakat di YouTube, sehingga analisis sentimen diperlukan untuk memahami opini publik. Penelitian ini membandingkan tiga model transformer IndoBERT, IndoRoBERTa, dan IndoBERTweet serta mengevaluasi interpretabilitasnya menggunakan IG, LIME, dan SHAP. Sebanyak 15.430 komentar YouTube dikumpulkan dan diberi label dengan tingkat kesepakatan penilai yang tergolong sedang (Fleiss' Kappa = 0,524). Setelah penyeimbangan kelas, diperoleh 8.526 sampel untuk pelatihan dan pengujian model. Hasil fine-tuning dengan Optuna menunjukkan bahwa IndoRoBERTa memberikan kinerja terbaik dengan akurasi 94,06%. Evaluasi faithfulness pada 1.279 data uji menunjukkan bahwa IG merupakan metode penjelasan paling andal secara keseluruhan (rata-rata AUC-TP = 0,4136), unggul pada sentimen negatif dan positif, sedangkan LIME memberikan hasil terbaik pada sentimen netral. SHAP menunjukkan performa terendah.