Sejarah perkeretaapian di Indonesia diawali dengan pencangkulan pertama pembangunan jalan kereta api di desa Kemijen, Jum'at tanggal 17 Juni 1864, oleh Gubernur Jenderal Hindia Belanda, Mr. L.A.J Baron Sloet van den Beele. Pembangunan diprakarsai oleh 'Naamlooze Venootschap Nederlandsch Indische Spoorweg Maatschappij' (NV. NISM) yang dipimpin oleh Ir. J.P de Bordes dari Kemijen menuju desa Tanggung (26 Km) dengan lebar sepur 1435 mm. Ruas jalan ini dibuka untuk angkutan umum pada hari Sabtu, 10 Agustus 1867.
Keberhasilan swasta, NV. NISM membangun jalan KA antara Kemijen-Tanggung, yang kemudian pada tanggal 10 Februari 1870 dapat menghubungkan kota Semarang - Surakarta (110 Km), akhirnya mendorong minat investor untuk membangun jalan KA di daerah lainnya. Tidak mengherankan, kalau pertumbuhan panjang jalan rel antara 1864 - 1900 tumbuh dengan pesat. Kalau tahun 1867 baru 25 km, tahun 1870 menjadi 110 km, tahun 1880 mencapai 405 km, tahun 1890 menjadi 1.427 km dan pada tahun 1900 menjadi 3.338 km.
Selain di Jawa, pembangunan rel KA juga dilakukan di Aceh (1874), Sumatera Utara (1886), Sumatera Barat (1891), [[ ]] (1914), bahkan tahun 1922 di Sulawesi juga telah dibangun jalan KA sepanjang 47 Km antara Makasar-Takalar, yang pengoperasiannya dilakukan tanggal 1 Juli 1923, sisanya Ujungpandang-Maros belum sempat diselesaikan. Sedangkan di Kalimantan, meskipun belum sempat dibangun, studi jalan KA Pontianak - Sambas (220 Km) sudah diselesaikan. Demikian juga di pulau Bali dan Lombok, juga pernah dilakukan studi pembangunan jalan KA.
Sampai dengan tahun 1939, panjang jalan KA di Indonesia mencapai 6.811 km. Tetapi, pada tahun 1950 panjangnya berkurang menjadi 5.910 km, kurang lebih 901 km raib, yang diperkirakan karena dibongkar semasa pendudukan Jepang dan diangkut ke Burma untuk pembangunan jalan KA di sana.
Jenis jalan rel KA di Indonesia dibedakan dengan lebar sepur 1.067 mm; 750 mm (di Aceh) dan 600 mm di beberapa lintas cabang dan tram kota. Jalan rel yang dibongkar semasa pendudukan Jepang (1942 - 1943) sepanjang 473 km, sedangkan jalan KA yang dibangun semasa pendudukan Jepang adalah 83 km antara Bayah - Cikara dan 220 km antara Muaro - Pekanbaru. Ironisnya, dengan teknologi yang seadanya, jalan KA Muaro - Pekanbaru diprogramkan selesai pembangunannya selama 15 bulan yang memperkerjakan 27.500 orang, 25.000 diantaranya adalah Romusha. Jalan yang melintasi rawa-rawa, perbukitan, serta sungai yang deras arusnya ini, banyak menelan korban yang makamnya bertebaran sepanjang Muaro - Pekanbaru.
Setelah kemerdekaan Indonesia diproklamirkan pada tanggal 17 Agustus 1945, karyawan KA yang tergabung dalam 'Angkatan Moeda Kereta Api' (AMKA) mengambil alih kekuasaan perkeretaapian dari pihak Jepang. Peristiwa bersejarah yang terjadi pada tanggal 28 September 1945, pembacaan pernyataan sikap oleh Ismangil dan sejumlah anggota AMKA lainnya, menegaskan bahwa mulai tanggal 28 September 1945 kekuasaan perkeretaapian berada ditangan bangsa Indonesia. Orang Jepang tidak diperkenankan lagi campur tangan dengan urusan perkeretaapian di Indonesia. Inilah yang melandasi ditetapkannya 28 September 1945 sebagai Hari Kereta Api di Indonesia, serta dibentuknya 'Djawatan Kereta Api Republik Indonesia' (DKARI).
Perusahaan Negara Kereta Api (PNKA) namanya diubah sejak tanggal 15 September 1971 menjadi Perusahaan Jawatan Kereta Api (PJKA). Pada tanggal 2 Januari 1991, PJKA diubah menjadi Perusahaan Umum Kereta Api (Perumka), dan sejak tanggal 1 Juni 1999 menjadi PT Kereta Api Indonesia (Persero).
