Sistem Isyarat Bahasa Indonesia (SIBI) adalah sistem isyarat resmi di Indonesia yang digunakan komunitas tunarungu untuk berkomunikasi dalam bahasa Indonesia. Meskipun begitu, penggunaannya masih terbatas dan belum tersebar secara luas di masyarakat sehingga menyebabkan kesulitan dalam berkomunikasi bagi tunarungu. Perkembangan teknologi deep learning seperti Faster R-CNN dalam pengenalan objek memiliki potensi membantu meningkatkan komunikasi antara tunarungu dan masyarakat umum. Penelitian ini bertujuan untuk mengimplementasikan algoritma Faster R-CNN dengan tiga arsitektur ResNet yang berbeda (ResNet-50, ResNet-101, dan ResNet-152) untuk pengenalan Sistem Isyarat Bahasa Indonesia. Perbandingan algoritma Faster R-CNN dengan arsitektur berbeda juga dilakukan untuk mengetahui arsitektur terbaik dalam pengenalan SIBI yang dievaluasi dengan metrik accuracy, recall, precision, dan f1-score dari perhitungan confusion matrix dan waktu eksekusi. Penelitian ini melalui beberapa tahap meliputi pengumpulan data dari platform sumber terbuka kaggle yang memiliki 546 data citra digital gestur tangan SIBI dengan 21 data pada setiap kelas, pelabelan objek dengan tools LabelImg, preprocessing untuk mempersiapkan data, pembuatan tiga model dengan arsitektur berbeda dengan memanfaatkan tools tensorflow dengan integrasi pipeline dan terakhir dilakukan pengujian dan evaluasi untuk mengetahui kualitas model. Hasil pengujian menunjukkan hasil metrik accuracy, precision, recall, dan f1- score berturut-turut 96.15%, 95%, 93%, 94% pada model ResNet-50, 71,15%, 79%, 69%, 70% pada model ResNet-101, dan 80,75%, 85%, 78%, 79% pada model ResNet- 152.Waktu eksekusi ketiga model pada pengujian menunjukkan hasil 36,84 detik (model ResNet-50) 38,82 (model ResNet-101) 40,20 (model ResNet-152). model Faster R-CNN dengan arsitektur ResNet-50 menunjukkan kinerja terbaik dan efisien dengan nilai akurasi 96,15% serta waktu eksekusi 36,84 detik pada proses pengujian dibandingkan model dengan arsitektur ResNet-101 dan ResNet-152.