Segmentasi citra medis merupakan komponen penting dalam sistem computer-aided diagnosis (CAD) pada berbagai modalitas pencitraan. Namun, tugas ini masih menantang karena banyak citra memiliki kontras yang rendah dan variasi lesi yang tinggi, sementara banyak lingkungan klinis menuntut model yang efisien secara komputasi. Penelitian ini mengusulkan CFCSE-Net, sebuah model berbasis U-Net yang dikembangkan dengan menggunakan X-UNet sebagai baseline untuk modul CFGC dan CSPF. Model ini mengintegrasikan modul CFGC yang dimodifikasi dengan penambahan Ghost Module pada encoder, modul CSPF pada decoder, serta Enhanced Parallel Attention (EPA) pada skip connection. Kontribusi utama penelitian ini adalah merancang arsitektur ringan yang menggabungkan ekstraksi fitur multi-scale dan attention mechanism untuk menjaga kompleksitas model tetap rendah sekaligus meningkatkan akurasi segmentasi. Penelitian ini melatih dan mengevaluasi CFCSE-Net pada empat dataset publik, yaitu Kvasir-SEG, CVC-ClinicDB, BUSI (diubah ukurannya menjadi 256 × 256 piksel), dan PH2 (diubah ukurannya menjadi 320 × 320 piksel), dengan penerapan augmentasi data. Kinerja segmentasi dilaporkan dalam bentuk rata-rata ± standar deviasi dari metrik IoU, DSC, dan akurasi berdasarkan tiga random number seeds. CFCSE-Net mencapai IoU sebesar 79.78% ± 1.99, DSC 87.21% ± 1.72, dan akurasi 96.70% ± 0.59 pada Kvasir-SEG; IoU 88.11% ± 0.86, DSC 93.42% ± 0.55, dan akurasi 99.04% ± 0.09 pada CVC-ClinicDB; IoU 69.33% ± 2.66, DSC 78.80% ± 2.65, dan akurasi 96.30% ± 0.51 pada BUSI; serta IoU 92.27% ± 0.52, DSC 95.92% ± 0.30, dan akurasi 98.06% ± 0.16 pada PH2. Meskipun menunjukkan kinerja yang kuat, model ini tetap ringkas dengan 909,901 parameter dan biaya komputasi yang rendah, yaitu 3.24 GFLOPs untuk input berukuran 256 × 256 dan 5.07 GFLOPs untuk input berukuran 320 × 320. Hasil ini menunjukkan bahwa CFCSE-Net mampu mempertahankan kinerja yang stabil pada segmentasi polip, ultrasonografi payudara, dan lesi kulit, sekaligus cukup efisien untuk diterapkan pada sistem CAD dengan sumber daya komputasi terbatas.