Tantangan utama penilaian esai otomatis yaitu banyaknya variasi jawaban esai dari siswa namun memiliki semantik yang sama dengan kunci jawaban akan mempersulit mengukur kemiripan yang dimiliki. Penelitian sebelumnya yang berfokus pada jawaban esai singkat sudah banyak dilakukan dalam kasus Bahasa Indonesia dengan memperhatikan similaritas semantik antara jawaban esai dan referensi, namun masih belum mepertimbangkan adanya kemungkinan seorang siswa akan menjawab pertanyaan singkat dengan jawaban panjang. Penelitian ini akan memanfaatkan evaluasi ringkasan ROUGE untuk menilai jawaban esai secara otomatis dengan mengekstensi dataset jawaban dalam Bahasa Indonesia. Dataset terdiri dari 7 pertanyaan yang masing-masing memiliki 36 data jawaban dan 1 jawaban referensi. Hasil dari penelitian ini memiliki nilai korelasi dan MAE antara penilaian jawaban manual dari instruktur dengan penilaian otomatis berturut-turut adalah 0.88343 dan 0.10534. Perbandingan kenaikan nilai korelasi dan penurunan nilai MAE antara metode yang diajukan dalam penelitian ini dengan metode penelitian sebelumnya berturut-turut adalah 24.68% dan 85%.