Kalori berlebih di dalam tubuh dapat memunculkan beberapa penyakit degeneratif seperti diabetes melitus, jantung, stroke, hipertensi, dan lain-lain. Tren tersebut kian meningkat disebabkan karena pola hidup masyarakat yang tidak sehat dan kurang berolahraga. Salah satu faktor utamanya adalah pola makan yang tidak baik serta tidak seimbangnya kandungan kalori yang masuk ke dalam tubuh dibandingkan dengan aktivitas fisiknya. Sistem ini dirancang untuk membantu masyarakat menjaga kandungan kalori yang masuk ke dalam tubuh agar seimbang. Proses deteksi dan estimasi kalori makanan diproses dengan pengolahan citra menggunakan deep learning yang merupakan ilmu cabang dari kecerdasan buatan mencakup perancangan serta penerapan model algoritma yang memungkinkan sistem untuk mengembangkan perilaku berdasarkan dataset. Sistem ini dirancang menggunakan model algoritma YOLO untuk mendeteksi jenis makanan yang kemudian dikembangkan menggunakan bahasa pemrograman Python untuk dapat melakukan estimasi kalori makanan yang dideteksi. YOLO menggunakan prinsip ekstraksi fitur pada citra yang diproses melalui filter berupa array untuk melakukan deteksi. Jumlah estimasi kalori makanan dihitung dengan cara mengalikan kalori tiap makanan dengan jumlah sesuai jenis makanan yang terdeteksi. Nilai kalori makanan yang diberikan berdasarkan jumlah kalori tiap porsi makanan yang diambil dari FatSecret Indonesia. Hasil dari penelitian ini yaitu performa deteksi makanan yang cukup baik dengan rata-rata nilai precision, recall, dan F1-score secara berturut-turut yaitu 0.94, 0.90, dan 0.91 saat dilakukan pengujian model. Akan tetapi, saat dilakukan pengujian pada implementasi di situs web performanya menurun dengan rata-rata nilai precision, recall, dan F1-score secara berturut-turut yaitu 0.84, 0.32, dan 0.41. Penurunan performa tersebut disebabkan karena penggunaan CPU untuk pemrosesan gambar pada web yang kurang baik serta penurunan kualitas gambar saat diunggah di web.