Peningkatan Ketahanan Watermarking DCT pada Ruang Laten VAE terhadap Serangan Regenerasi Model Difusi ber-LoRA melalui Redundant Embedding dan Majority Vote

Oleh :
Ridlo Abdullah Ulinnuha - L0122138 - Fak. Teknologi Informasi dan Sains Data

Model difusi yang diadaptasi dengan Low-Rank Adaptation (LoRA) dapat meniru gaya seni lukis dari sedikit citra latih, dan proses regenerasinya dapat merusak watermark yang disisipkan pada citra. Penelitian ini menguji skema watermarking berbasis Discrete Cosine Transform (DCT) pada ruang laten Variational Autoencoder (VAE) Stable Diffusion v1.5 yang tidak memerlukan pelatihan. Setiap bit dari message 48 bit disalin sebanyak R ∈ {1, 3, 5} kali pada blok laten yang berbeda, lalu dibaca kembali melalui majority vote. Embedding strength untuk setiap R dipilih melalui grid search terhadap dua belas serangan tradisional dengan syarat PSNR minimal 30 dB. Konfigurasi terpilih kemudian diuji pada 500 citra WikiArt dari delapan kelas gaya yang diregenerasi oleh model ber-adapter LoRA. Konfigurasi lima salinan menghasilkan Bit Accuracy Rate (BAR) rata-rata 81,35%, atau 5,38 poin persentase di atas konfigurasi satu salinan, dan unggul pada kedelapan kelas gaya. Dengan syarat sekurang-kurangnya 33 dari 48 bit terbaca benar (p < 0,01), Watermark Detection Rate (WDR) konfigurasi tersebut mencapai 97,2%. Konfigurasi tiga salinan berada di bawah konfigurasi satu salinan karena embedding strength yang lebih kecil belum tertutupi oleh penggabungan tiga salinan. Pada subset evaluasi, konfigurasi lima salinan menghasilkan PSNR 30,30 dB dan SSIM 0,8758. Pada konfigurasi yang sama, regenerasi tanpa adapter LoRA menghasilkan BAR yang hampir sama, yaitu 80,43%. Hasil evaluasi menunjukkan bahwa skema penyisipan berulang dengan majority vote pada ruang laten VAE terbukti meningkatkan ketahanan watermark terhadap regenerasi model difusi ber-LoRA pada konfigurasi lima salinan, dengan ekstraksi yang masih memerlukan laten acuan (non-blind).