Pemetaan bangunan memiliki peran penting dalam pembaruan informasi geografis serta perencanaan wilayah dan kota. Salah satu cara memetakan bangunan adalah melalui citra satelit. Namun, bangunan berwarna mirip dan berbentuk beragam masih menjadi tantangan dalam pemetaan bangunan dari citra satelit. Untuk menjawab tantangan ini, digunakan arsitektur yang disusun dari Residual Network (ResNet) dan diberi nama Multi-Stage Residual Segmentation Network (MSR-SegNet). Arsitektur ini terdiri dari dua bagian utama: (1) Multi-Level Residual Encoder-Decoder (MLRED) dan (2) Residual Enhancer (RE). MLRED dibuat berdasarkan arsitektur U-Net, tetapi menggunakan residual block sebagai komponennya. RE dibuat dengan mengubah residual block. MLRED bertugas untuk memetakan bangunan dari citra satelit, sedangkan RE bertugas untuk merapikan hasil dari MLRED. Model dilatih dan diuji dengan dataset citra satelit Massachusetts. Hasil pengujian dibandingkan dengan metode-metode sebelumnya. Hasil pengujian menunjukkan bahwa metode yang diajukan (skor F-1 85,60%) lebih baik daripada metode sebelumnya, BRRNet, (skor F-1 85,36%) dengan jumlah parameter 12,4% lebih sedikit.