Berdirinya MTs Negeri I Kota Palembang awalnya adalah bernama MTs Madinatul Ulum yang saat itu dikelola oleh Yayasan Pendidikan Madinatul Ulum (YPMU) berlokasi di lorong Kedukan Bukit I 35 Ilir Palembang. Pembangunan gedung ruang belajar untuk pertama kalinya yaitu pada tahun 1951. Adapun Tenaga Pendidik dan Pengelola madrasah nya yaitu dari tokoh masyarakat dan alim ulama setempat.

Dari tanggal 1 Januari 1961 sampai dengan tanggal 20 Januari 1968, Yayasan Pendidikan Madinatul Ulum  yang merupakan lembaga swasta dan  berbadan hukum (akte Tan Thongkie Nomor : 8 Tahun 1962) mengelola 2 (dua) madrasah yaitu tingkat MTs setingkat dengan SLTP dan Madrasah Aliyah (MA) setingkat dengan SMA. Selama masa tersebut kedua madrasah yang dikelola YPMU ini berkembang dengan pesat dan pada akhirnya menarik perhatian Gubernur Provinsi Sumatera Selatan, yang saat itu di jabat olah H. Ahmad Bastari, melakukan kunjungan ke madrasah tersebut. Dari hasil kunjungan itu yang kemudian ditindaklanjuti dengan pembinaan secara khusus dari pihak Pemerintah Daerah secara berkesinambungan.

Melihat keseriusan Pemerintah dalam memberikan pembinaan dan juga desakan situasi kondisi pada saat itu, maka pihak Yayasan pada tanggal 4 Agustus 1967 memutuskan untuk menyerahkan Madrasah Tsanawiyah (MTs) kepada pihak pemerintah untuk dinegerikan.

Proses pengusulan penegerian yaitu melalui Kepala Kantor Inspeksi Pendidikan Agama TK. I Provinsi Sumatera Selatan dengan mengeluarkan Surat Keputusan Nomor : 3751 B Mdr.f.15.1967, tanggal 11 Nopember 19967. Selanjutnya permohonan usulan Penegerian tersebut diteruskan ke Direktorat Pendidikan Agama RI di Jakarta.

Sembari menunggu proses Penegerian disetujui, sementara waktu status MTs berubah menjadi nama Madrasah Persiapan Negeri (MPN). Kemudian terbit Surat Keputusan Menteri Agama RI Nomor : 8 Tahun 1968 tanggal 20 Agustus 1968 status MTs Madinatul Ulum berubah menjadi Madrasah Negeri dengan nama Madrasah Tsanawiyah Agama Islam Negeri Palembang atau MTs.AIN.

Kemudian berdasarkan Surat Keputusan Menteri Agama R.I Nomor : 164 Tahun 1970 tanggal 4 Agustus 1970 nama MTs.AIN Palembang resmi menjadi nama MTs Negeri I Palembang hingga saat ini dan berlokasi di Jalan Jenderal Sudirman KM 4 Palembang (seberang makam Pahlawan)

Perubahan lokasi MTs Negeri 1 Palembang:

1. Madinatul Ulum berlokasi di lorong Kedukan Bukit I 35 Ilir Palembang dari tahun 1961 s.d 1968;
2. MTs AIN berlokasi di lorong Ketandan 16 Ilir Palembang menempati Gedung sekolah Cina dari tanggal 15 April s.d tanggal 31 Januari 1976;
3. MTs Negeri I Palembang berlokasi di Jalan Jendral Sudirman Km 4 Palembang  dari tanggal 1 Februari 1976 hingga sekarang.

MTs Negeri 1 Palembang terus mengalami perkembangan dan prestasi sehingga menarik minat masyarakat terutama kota Palembang. Animo pendaftar meningkat setiap tahunnya. Guna menjawab aspirasi masyarakat khususnya masyarakat yang tinggal di daerah Jakabaring Plaju dan Kertapati atau Seberang Ulu, maka dibangunlah gedung belajar di lokal Jakabaring. Pada tanggal 18 Februari 2014 secara resmi Kepala Kanwil Kemenag Sumsel Drs. H. Najib Haitami, MM meresmikan gedung baru lokal Jakabaring yang saat itu kepala madrasah yaitu Dra.Hj. Yeni Sufri Yani, M.Pd.I .  Madrasah lokal Jakabaring ini beralamat di beralamat di Jalan OPI Raya Lorong Sumsel 8 Perumahan GSS Blok M Kel. 15 Ulu Kec. Jakabaring Palembang.