Padatnya aktivitas masyarakat Indonesia berdampak pada tingginya kebutuhan transportasi yang turut meningkatkan berbagai resiko, salah satunya adalah kecelakaan lalu lintas. Kecelakaan lalu lintas menjadi salah satu permasalahan utama di Indonesia yang telah memakan banyak korban. Salah satu faktor penyebab utama kecelakaan adalah kantuk saat berkendara. Untuk mengatasi masalah ini, salah satu cara yang bisa dilakukan adalah mengembangkan model machine learning untuk mendeteksi kantuk pada pengemudi saat berkendara menggunakan gambar mata pengemudi. Pada penelitian ini, dikembangkan sebuah model Convolutional Neural Network (CNN) dengan dan tanpa transfer learning guna mendeteksi kantuk pengemudi secara lebih akurat dengan melihat nilai F1-Score, risiko overfitting yang rendah dengan melihat nilai loss, dan efisien dengan melihat waktu prediksi gambar mata pengemudi. Metode yang digunakan adalah model CNN dengan transfer learning  dan tanpa transfer learning. Transfer learning menggunakan tiga arsitektur yaitu EfficientNetV2S, VGG16, dan VGG19. Setiap model dilatih dengan variasi batch size 32 dan 64 serta penggunaan regularizer untuk menganalisis pengaruhnya terhadap performa model. Hasil penelitian ini berhasil mengembangkan model untuk mendeteksi kantuk pada pengemudi sebagai upaya mitigasi mengurangi risiko kecelakaan lalu lintas. Model CNN tanpa transfer learning dengan kombinasi model tanpa regularizer dan batch size 64 menghasilkan performa terbaik dengan F1-Score mencapai 98,8%, nilai loss 0,0483, dan waktu prediksi yang dibutuhkan selama 1,6 detik.