PT. Usmantex, sebuah perusahaan tekstil, menghadapi masalah kualitas dengan tingkat cacat yang tinggi pada kain grey rapier. Proses Kontrol Kualitas (QC) manual terhambat oleh kelemahan seperti kelelahan, kebosanan, dan subjektivitas operator. Selain itu, keragaman pola anyaman pada kain rapier abu-abu menimbulkan tantangan bagi QC karena operator harus memahami berbagai pola dan cacat. Penelitian ini menggunakan algoritma Convolutional Neural Network (CNN) untuk mengembangkan model yang mampu mengklasifikasikan pola kain dan mengidentifikasi cacat. Performa dari tiga arsitektur CNN, yaitu DenseNet 201, Inception V3, dan ResNet-50 V2, diuji untuk menentukan arsitektur paling unggul. Arsitektur dengan performa tertinggi dikembangkan lebih lanjut melalui proses tuning. Hasilnya menunjukkan bahwa arsitektur ResNet-50 V2, disertai dengan tuning, mencapai kinerja optimal dengan akurasi, presisi, recall, dan skor F1 sebesar 0,98. Hal ini menggarisbawahi keandalan model dalam mengklasifikasikan pola dan cacat pada kain grey rapier.