Salah satu tantangan dalam semantic web bagi pengguna yang belum familiar dengan teknologi ini adalah melakukan query. Sebuah sistem yang memiliki Interface yang dapat membaca input pengguna dalam bahasa sehari-hari dan memprosesnya menjadi query semantic tentu sangat membantu. Transformers sebagai arsitektur deep learning dapat dimanfaatkan dalam proses konversi Natural Language Question ke dalam query untuk web of data (SPARQL). Transformers akan melakukan pengolahan pertanyaan dan memprediksi triple untuk selanjutnya dapat disusun menjadi SPARQL. Dengan demikian, penelitian dapat berfokus pada dataset yang digunakan untuk training model untuk memperluas cakupan pola pertanyaan yang dapat ditangani. Rule base tetap diterapkan pada tahap penyusunan ulang SPARQL agar SPARQL tersebut dapat dijalankan pada endpoint open link data cloud. Penyusunan SPARQL mendapatkan nilai accuracy 0.9. Hasil jawaban dari SPARQL tersebut juga memuaskan ditunjukkan dengan nilai precision, recall, dan F1 score cukup tinggi yaitu masing-masing bernilai 0.637, 0.643, dan 0.640. Dengan demikian, penelitian ini sangat membantu dalam permasalahan penyusunan SPARQL dari natural language question.