Asesmen kompetensi SDM memiliki peran krusial dalam organisasi, khususnya pada PT X, sebuah BUMN di sektor transportasi Indonesia. PT X mengembangkan tes kompetensi kepemimpinan melalui Situational Judgement Test (SJT), diharapkan dapat secara objektif mengukur kompetensi dengan skenario pekerjaan realistis. Dengan total population sampling, penelitian ini melibatkan 2.368 karyawan PT X dari kelompok jabatan level 1. Analisis butir dengan Rasch Model dilakukan pada 48 aitem yang mengukur 7 kompetensi kepemimpinan pada level kompetensi 1, dengan tujuan meningkatkan mutu tes melalui perbaikan atau penghapusan butir yang tidak sesuai. Ditemukan bahwa sebanyak 15 aitem dijawab benar >50% responden, sedangkan 33 aitem dijawab benar oleh <50>Infit & Outfit) pada seluruh aitem menunjukkan nilai yang sesuai (0,5 – 1,5) dengan kompetensi yang diukur, menegaskan keandalan tes. Wright Map menunjukkan kompetensi DEX mampu mengukur keseluruhan abilitas; kompetensi DLE mampu memotret abilitas responden rata-rata hingga tinggi; kompetensi Strategic Orientation (SOR), Developing Organizational Capabilities (DOC), dan Leading Change (LCH) memotret abilitas rata-rata; kompetensi Global Business Savvy (GBS) dan Managing Diversity (MDI) memotret abilitas pada tingkat rata-rata dan di bawah rata-rata. Penelitian ini menyimpulkan bahwa tes SJT ini memiliki kualitas butir yang baik dan dapat diandalkan untuk asesmen kompetensi PT X secara berkelanjutan.