Buah manggis (Garcinia mangostana L.) merupakan salah satu komoditas ekspor buah tropis dengan jumlah permintaan yang tinggi. Buah manggis sebagai komoditas memiliki kelemahan yaitu laju pematangan yang cepat, sehingga dalam usaha meningkatkan mutu ekspor juga perlu memperhatikan tingkat kematangan agar buah tidak sampai dalam keadaan rusak. Salah satu alternatif yang dapat diterapkan untuk meningkatkan efisiensi proses pemilahan kualitas buah manggis adalah dengan otomatisasi berbasis gambar. Penelitian ini mengimplementasikan metode transfer learning untuk mengidentifikasi tingkat kematangan buah manggis sebagai upaya meningkatkan efisiensi identifikasi. Implementasi model transfer learning tanpa adanya fine-tuning membuat model rentan mengalami overfitting. Penelitian ini menerapkan model InceptionV3 dengan penyesuaian hyperparameter optimasi, learning rate, arsitektur dropout dan normalisasi batch. Model tersebut mampu mengurangi indikasi overfitting dan mengidentifikasi tingkat kematangan manggis secara baik dengan tingkat akurasi sebesar  95,47%. Implementasi model secara sederhana telah menunjukkan performa yang baik dengan kecepatan identifikasi kematangan rata-rata 80 ms. Berdasarkan akurasi dan kecepatan identifikasinya, model dapat diterapkan untuk meningkatkan efisiensi proses pemilahan buah manggis.