Pengembangan Model Deep Learning untuk Sign Language Recognition Menggunakan Convolutional Neural Network

Oleh :
Oktavianus Auwdri - I0320077 - Fak. Teknik

Bahasa isyarat merupakan alat komunikasi utama bagi penyandang tunarungu, khususnya Bahasa Isyarat Indonesia (BISINDO) yang lebih sering digunakan dibandingkan Sistem Bahasa Isyarat Indonesia (SIBI). Namun, kesenjangan komunikasi antara individu non-disabilitas dan penyandang tunarungu tetap menjadi tantangan akibat minimnya edukasi dan media pembelajaran bahasa isyarat. Penelitian ini bertujuan untuk menyusun model deep learning berbasis Convolutional Neural Network (CNN) dengan transfer learning menggunakan arsitektur MobileNetV2 untuk mengenali dan mengklasifikasikan 20 kata dalam BISINDO. Model ini dirancang melalui optimasi parameter, termasuk jumlah epoch, batch size, jumlah neuron, dan learning rate, untuk menghindari overfitting maupun underfitting. Hasil menunjukkan akurasi pelatihan sebesar 91.33?ngan loss 0.3162, serta akurasi validasi sebesar 91.33?ngan loss 0.3679. Evaluasi menggunakan confusion matrix menghasilkan nilai macro average precision, recall, dan F1-score masing-masing sebesar 0.92, 0.91, dan 0.92, menunjukkan keseimbangan performa model dalam memprediksi setiap kelas dengan baik. Solusi ini diharapkan mempermudah masyarakat umum dalam belajar dan mengenali BISINDO, serta meningkatkan komunikasi inklusif dengan penyandang tunarungu.