Retakan merupakan indikator awal kerusakan struktural pada permukaan jalan yang jika tidak ditangani dapat berkembang menjadi kerusakan lebih serius. Inspeksi manual yang umum dilakukan di Indonesia memiliki keterbatasan berupa waktu pengerjaan yang lama, kebutuhan tenaga kerja besar, serta subjektivitas pengamat. Pendekatan segmentasi citra berbasis deep learning, khususnya arsitektur DeepLabV3+, telah banyak digunakan untuk mengatasi permasalahan tersebut. Namun, proses fusi fitur pada decoder DeepLabV3+ standar masih dilakukan secara statis dengan bobot seragam antara high-level dan low-level feature, sehingga kontribusi fitur dari setiap skala tidak dapat disesuaikan secara adaptif terhadap karakteristik retakan yang bervariasi. Penelitian ini mengusulkan penerapan mekanisme Multi-Scale Attention pada bagian decoder arsitektur DeepLabV3+ dengan backbone ResNet-50 untuk menghasilkan attention mask berbasis piksel yang secara dinamis menentukan bobot kontribusi antar skala fitur. Model dilatih dan diuji menggunakan dataset DeepCrack melalui proses hyperparameter tuning pada loss function, weight coefficient, jumlah filter, dan optimizer. Hasil pengujian menunjukkan model yang diusulkan memperoleh Precision 86,4%, Recall 90,56%, F1-Score 88,43%, dan mIoU 89,17%, yang mengungguli seluruh metode pembanding pada penelitian sebelumnya. Hasil ablasi membuktikan bahwa integrasi backbone ResNet-50 dan modul MSA pada decoder memberikan kontribusi yang saling melengkapi dalam meningkatkan akurasi segmentasi, khususnya dalam mempertahankan detail retakan yang tipis serta meningkatkan ketelitian batas segmentasi.