Tujuan dari penelitian ini adalah untuk mengukur kemampuan siswa dalam menulis dengan menggunakan alat penilai konvensional dan otomatis. Secara konvensional, guru menilai teks siswa menggunakan rubrik yang dikembangkan untuk mengetahui kemampuan siswa dalam menulis. Saat ini, ada alternatif penilaian konvensional  yang  muncul  dalam  bentuk  penilaian  otomatis.  Dalam  penelitian  ini, peneliti menggunakan rubrik penilaian konvensional dan alat Coh-Metrix otomatis untuk menilai teks siswa.
Dalam  penelitian  ini,  peneliti  menggunakan  metode  penelitian  deskriptif analitik yang mengacu pada analisis isi. Peneliti menilai dan menganalisis hasil penilaian terhadap dua puluh teks esai argumentatif siswa yang ditulis selama semester ketiga di Jurusan Pendidikan Bahasa Inggris. Analisis data menggunakan model interaktif Marshal dan Rossman (2006).
Temuan  dari penelitian ini  adalah: (1)  Hasil  penilaian  menggunakan  rubrik penilaian pada teks siswa menunjukkan bahwa sebagian besar siswa memperoleh nilai sangat baik pada aspek pengorganisasian gagasan dan nilai terendah pada aspek tata bahasa; dan (2) Hasil penilaian pada kategori Descriptive menunjukkan bahwa guru dapat menentukan kuantitas hasil kerja siswa dan mengetahui kemampuan siswa dalam mengembangkan ide. Hasil ini sejalan dengan hasil penilaian dengan rubrik terkait aspek isi. Hasil penilaian menggunakan Coh-Metrix Text Easability Assessment menunjukkan bahwa sebagian besar siswa memiliki skor tinggi pada indeks referential cohesion dan deep cohesion. Hasil ini sejalan dengan hasil penilaian dengan rubrik pada aspek organisasi gagasan dimana banyak siswa yang memperoleh nilai sangat baik. (3) Selain itu, penelitian ini juga mengkaji tantangan dalam menggunakan alat konvensional dan otomatis. Namun, guru harus mempertimbangkan tujuan dan konteks penilaian dan menyesuaikannya dengan kebutuhan penilaian.
 

Kata  kunci:  menulis,  penilaian,  metodologi  pengajaran  bahasa,  esai  argumentatif, analisis isi.