SMA NEGERI 2 PEMATANGSIANTAR berdiri pada Tahun 1954 di atas lahan ± 17.000 km2 *). Sebelum adanya SMA Negeri 2 Pematangsiantar, di lahan yang sama sudah berdiri Sekolah Swasta yang bernama YAYASAN BC SIMALUNGUN, Bapak Filip Lumbantobing menjabat sebagai Kepala Sekolah. Tahun 1954, seiring dengan perkembangan Kota Pematangsiantar dan kebutuhan masyarakat akan sekolah negeri, Sekolah Yayasan BC Simalungun beralih menjadi sekolah negeri disebut SLTA Negeri 2 Pematangsiantar, juga Bapak Filip Lumbantobing diangkat sebagai Kepala Sekolah yang awalnya memiliki 6 ruang kelas (sekarang ruangan ini masih berdiri kokoh).

Lahan SMA Negeri 2 Pematangsiantar seluas ± 17.000 km2 dulunya adalah bekas lahan Kebun Teh Naga Huta yang dibatasi oleh sungai (batas alam). Sebagai sekolah yang masih baru berdiri, lingkungan sekolah masih dipagari dengan bambu. Siswa yang menjadi peserta didik adalah berasal dari Kota Pematangsiantar maupun kabupaten di sekitarnya, antara lain : Kabupaten Simalungun, Asahan, Karo, Tapanuli Utara, Tapanuli Selatan, Kota Tebing Tinggi, dan wilayah lainnya.