Image Captioning pada Citra Halftone dengan Fine-Tuning Pre-Trained Model Encoder Decoder Berbasis Transformer

Oleh :
Muhammad Dwi Arfian - M0519060 - Fak. Teknologi Informasi dan Sains Data

Pembangkitan deskripsi citra atau Image Captioning (IC) telah berkembang pesat seiring kemajuan Deep Learning, namun mayoritas penelitian saat ini masih berfokus pada citra tona kontinu (RGB atau grayscale). Citra halftone, yang merepresentasikan tona visual melalui pola titik-titik diskrit (dithering), memiliki karakteristik degradasi visual unik yang menjadi masalah utama karena menyulitkan metode konvensional dalam mengekstraksi fitur visual yang akurat. Penelitian ini bertujuan menerapkan dan mengevaluasi adaptasi model Vision Encoder-Decoder dengan fine-tuning pre-trained model pada domain citra halftone. Dataset MSCOCO 2017 ditransformasi menggunakan algoritma Floyd-Steinberg dithering sebagai data latih. Evaluasi dilakukan melalui empat skenario: Baseline (tanpa fine-tuning), Fine-Tuning Standar, Fine-Tuning dengan Regularisasi, dan Low-Rank Adaptation (LoRA). Hasil eksperimen menunjukkan kenaikan nilai metrik CIDEr hingga >12 pada seluruh skenario fine-tuning. Skenario adaptasi LoRA menunjukkan keseimbangan terbaik antara kinerja dan efisiensi ketika pelatihan. Hal ini mengindikasikan bahwa teknik adaptasi parameter-efisien mampu menangkap fitur semantik pada citra halftone seefektif pelatihan penuh namun dengan efisiensi komputasi yang lebih tinggi.