Ambulans merupakan kendaraan prioritas yang sering terjebak kemacetan dan menerobos lampu lalu lintas pada persimpangan. Tingginya resiko keselamatan berkendara dan jumlah kasus pasien meninggal dalam perjalanan akibat durasi tempuh yang lama merupakan masalah krusial yang perlu diselesaikan. Masalah tersebut terjadi disebabkan oleh tingginya tingkat kepadatan lalu lintas serta pengaturan lampu lalu lintas yang buruk. Penelitian ini dilakukan untuk mendapatkan model Reinforcement Learning yang mampu mengatur durasi lampu hijau pada traffic light untuk mengurangi durasi waktu tempuh ambulans. Model yang dibuat menggunakan bentuk arsitektur fully-connected deep q-learning (DQN) dengan menggunakan 2 hidden layer. Particle swarm optimization (PSO) digunakan sebagai fungsi optimizer pada penelitian ini. Performa model diukur menggunakan mean absolute error (MAE), root mean square error (RMSE), R2 score, dan mean absolute percentage error (MAPE). Hasil menunjukan model yang diusulkan memiliki nilai MAE, RMSE, MAPE, dan R2 berturut-turut sebesar 1,3367; 2.0115; 0.1486; dan 0,9088. Berdasarkan hasil tersebut model yang dibuat dikategorikan sebagai good forecasting model.