SMA Negeri 2 Jakarta didirikan pada tanggal 24 Februari 1959, dengan terjadi proses pengambilalihan sekolah asing melalui kebijakan pemerintah, yaitu program nasionalisasi. Sekolah asing yang dinasionalisasi tersebut bernama Kwo Min Tang yang letaknya di Jl. Gajah Mada 174-175. Berdasarkan keputusan Peperda No. 232, lalu di ubah menjadi SMA PPS (Panitia Pengawasan Sekolah). SMA PPS diawasi dan dibina oleh pemerintah dari perwakilan Depdikbud Jakarta Raya, dengan kepala sekolah pertama G.S. Panjaitan serta wakil kepala sekolah merangkap sekretaris dan pengajar adalah T. Simbolon.

Pada tanggal 18 Januari 1960, SMA PPS menjadi SMA Nasional Bapergi tetapi tidak lama kemudian ditutup dan gedungnya dipakai untuk gedung pendidikan nasional. Gedung yang ada di jalan Gajah Mada No 174 diambil alih tanggal 11 Juli 1966 yang akhirnya dijadikan apartemen Mediterania. Lalu berdasarkan SJP No.004/JV/S/PERW/GG/66, gedung yang ada di jalan Gajah Mada No.175 yang akhirnya menjadi gedung sekolah SMA Negeri 2 Jakarta.

Pada tahun 1971, T. Simbolon mendapat tugas memimpin sekolah Indonesia di Moskow, sebagai pengganti yaitu Samsir Darwis, karena Samsir Darwis bertugas sebagai pengawas, jabatan kepala sekolah SMA Negeri 2 Jakarta digantikan oleh Elman Pakpahan (1979-1987). Selanjutnya pada tahun 1987 – 1992 jabatan kepala sekolah dipegang oleh W.B. Pardosi.

Lalu berdasarkan kurikulum 1994, jabatan kepala sekolah dijabat oleh R. Suprapto (1992-1998), tahun 1998-2003 kepala sekolah dijabat oleh Drs. Antonius Supardjo, Mpd, dan tahun 2003-2008 kepala sekolah dijabat oleh Drs. Sukardo, MM. Pada tahun 2008-2010 kepala sekolah dijabat oleh Drs.H. Achmad Mukri Suramihardja. Sejak bulan September tahun 2010 hingga Februari tahun 2012 kepala sekolah SMA Negeri 2 Jakarta di jabat oleh Drs. H. Suharto, M.Si, M.Pd. Selanjutnya kepala SMA Negeri 2 Jakarta dijabat oleh Drs. Abdullah Tiahara. Setelah adanya kebijakan proses lelang kepala SMAN DKI Jakarta, terhitung mulai tanggal 24 Maret 2014, kepala SMAN 2 Jakarta dijabat oleh Suharti Latifah, M.Pd yang merupakan kepala sekolah perempuan pertama dalam sejarah kepala sekolah di SMA Negeri 2 Jakarta. Kemudian, pada tanggal 19 Februari 2016 sampai dengan 24 September 2018 kepemimpinan dijabat oleh Drs. H Maknawiyah M.Si. Dan terhitung mulai tanggal 1 Oktober 2018, Kepala Sekolah di jabat oleh Ibu Dra. Diane Natalin Datuallo, M.M

Berdasarkan Kurikulum 2013, maka penjurusan dilaksanakan sejak kelas X, sehingga kelas X – XII terbagi atas:

1. MIPA sebanyak 3 atau 4 kelas
2. IPS sebanyak 3 kelas

yang dibagi berdasarkan minat dan kemampuan masing-masing siswa. Nilai Tertinggi masuk SMAN 2 Jakarta untuk tahun ajaran 2013-2014 adalah 97.10 dan terendah 86.15

Pada Tahun Pelajaran 2017 – 2018, SMA Negeri 2 Jakarta, peraih nilai UN urutan ke 1, di Jakarta Barat. Dan peraih nilai UN di urutan ke 5 tingkat DKI Jakarta. SMAN 2 Jakarta juga meraih peringkat satu FLS2N tingkat DKI Jakarta, dengan mata lomba Monolog. SMAN 2 Jakarta, Peraih Medali Emas tingkat Nasional. SMAN 2 Jakarta, Peraih Medali Emas tingkat Internasional di Thailand, pada mata lomba Kebumian. SMAN 2 Jakarta, meraih peringkat Top 8 nasional berdasarkan data LTMPT tahun 2022