Kanker payudara tetap menjadi salah satu penyebab utama kematian akibat kanker di kalangan perempuan di seluruh dunia, sehingga deteksi dini menjadi prioritas klinis yang sangat penting. Meskipun deep learning telah menunjukkan kinerja yang sangat baik dalam klasifikasi mamografi, perkembangannya terhambat oleh peraturan privasi data yang melarang pengumpulan data secara terpusat di seluruh institusi medis. Federated learning (FL) menawarkan solusi yang menjanjikan dengan memungkinkan pelatihan model secara terdistribusi tanpa mentransfer data mentah pasien. Namun, FL menghadapi tantangan yang signifikan dalam kondisi data Non-Independent dan Identically Distributed (Non-IID), yang sering ditemui dalam praktik medis di dunia nyata dan dapat menurunkan kinerja model serta stabilitas konvergensi. Penelitian ini mengusulkan sistem klasifikasi kanker payudara berbasis FL yang menggunakan FedProx dan DenseNet-201, dengan optimasi hyerparameter melalui Particle Swarm Optimization (PSO) untuk meningkatkan kinerja model pada distribusi data yang heterogen. Percobaan dilakukan pada berbagai skenario distribusi dirichlet (α = 0.1, 0.3, 0.5) dengan membandingkan FL baseline dan FL PSO based. Hasil menunjukkan bahwa PSO secara konsisten meningkatkan kinerja di seluruh skenario, dengan peningkatan paling signifikan terdapat pada kondisi Non-IID yang sangat tinggi (α = 0.1), di mana skor F1 meningkat dari 83.18% menjadi 88.00%. FL yang dioptimalkan dengan PSO juga menunjukkan konvergensi yang lebih cepat, sehingga mengurangi jumlah iterasi yang diperlukan untuk mencapai kinerja optimal. Selain itu, FL PSO based menghasilkan waktu pelatihan per round yang lebih singkat dibandingkan dengan FL baseline. Temuan ini menunjukkan bahwa optimasi hyperparameter berbasis PSO secara efektif meningkatkan kinerja FL dalam kondisi heterogenitas data sekaligus menjaga privasi data pasien.