PT. Usmantex, sebuah perusahaan tekstil, menghadapi masalah kualitas dengan tingkat cacat yang tinggi pada kain grey rapier. Proses Kontrol Kualitas (QC) manual terhambat oleh kelemahan seperti kelelahan, kebosanan, dan subjektivitas operator. Selain  itu,  keragaman  pola  anyaman  pada  kain  rapier  abu-abu  menimbulkan tantangan bagi QC karena operator harus memahami berbagai pola dan cacat. Penelitian ini menggunakan algoritma Convolutional Neural Network (CNN) untuk mengembangkan  model  yang  mampu  mengklasifikasikan pola  kain  dan mengidentifikasi cacat. Performa dari tiga arsitektur CNN, yaitu DenseNet 201, Inception V3, dan ResNet-50 V2, diuji untuk menentukan arsitektur paling unggul. Arsitektur dengan performa tertinggi dikembangkan lebih lanjut melalui proses tuning. Hasilnya menunjukkan bahwa arsitektur ResNet-50 V2, disertai dengan tuning, mencapai kinerja optimal dengan akurasi, presisi, recall, dan skor F1 sebesar 0,98. Hal ini menggarisbawahi keandalan model dalam mengklasifikasikan pola dan cacat pada kain grey rapier.