Kanker kolorektal adalah salah satu kanker paling umum yang sering berkembang dari polip di usus besar. Deteksi dini melalui kolonoskopi sangat penting untuk mencegah perkembangan kanker meskipun gejala awal sering kali tidak terlihat. Pendekatan berbantuan komputer dalam segmentasi citra kolonoskopi mempermudah deteksi polip, mengurangi beban kerja tenaga medis, dan meningkatkan akurasi diagnosis. Salah satu metode yang efektif untuk segmentasi citra medis adalah U-Net karena kemampuannya menggabungkan informasi dari berbagai resolusi melalui arsitektur encoder decoder. Namun, banyak arsitektur berbasis U-Net yang masih terbatas dalam menangkap fitur mendalam dan efisiensi komputasi. Penelitian ini mengusulkan modifikasi arsitektur Double U-Net dengan menggunakan MobileNetV2 sebagai encoder untuk mengurangi beban komputasi, serta menambahkan depthwise separable convolution dan Convolutional Block Attention Module (CBAM) pada skip connection untuk meningkatkan efisiensi dan akurasi. Hasil eksperimen menunjukkan bahwa model yang diusulkan mencapai DSC sebesar 95,20% dan IoU sebesar 90,84% pada dataset CVC-Clinic DB, serta DSC sebesar 89,08% dan IoU sebesar 80,69% pada dataset Kvasir SEG dengan jumlah parameter 1,96 juta. Modifikasi ini tidak hanya meningkatkan akurasi segmentasi tetapi juga menjaga efisiensi komputasi, menjadikannya solusi yang efektif dalam deteksi polip kolorektal.