Szkoła Podstawowa nr 2, potocznie nazywana "Dwójką", to najstarsza spośród funkcjonujących na terenie Sandomierza szkół podstawowych. Budynek, w którym się mieści, zbudowano w latach 1925 - 1927 z inicjatywy ówczesnego burmistrza Sandomierza - inż. Sylwestra Więckowskiego. W tym właśnie obiekcie 20 listopada, 1927 r. odbyła się uroczystość otwarcia dwóch szkół, tj. Publicznej Szkoły Powszechnej nr 1 im. Stefana Czarnieckiego pod kierownictwem Wojciecha Górkiewicza i Publicznej Szkoły Powszechnej nr 2 im. Królowej Jadwigi pod kierownictwem Stanisława Szelesta.

W takim stanie organizacyjnym obie szkoły przetrwały do wybuchu drugiej wojny światowej.

W okresie okupacji budynek zajęty został przez wojska Wehrmachtu (ciekawym śladem ich pobytu w szkole są odkryte w 1987 r. w czasie remontu, wykonane na ścianach hollu, prawie naturalnej wielkości, obrazy żołnierzy niemieckich). Później obiekt przejęły wojska radzieckie, które wykorzystywały go w charakterze stajni oraz jako punkt kontroli przepędu bydła na wschód. Pomimo olbrzymich zniszczeń, już 26 września 1944 r., w części zajmowanej przez żołnierzy radzieckich, uruchomiono siedmioklasową Szkołę Podstawową pod kierownictwem Franciszka Kolasy. Nauka odbywała się w połowie budynku, warunki pracy były bardzo trudne, nawet niebezpieczne, gdyż Sandomierz nadal znajdował się w strefie przyfrontowej. Po przeprowadzonym remoncie, we wrześniu 1947 roku w budynku utworzono dwie szkoły, Szkołę Podstawową nr 1, w której kierownictwo objął Franciszek Kolasa i Szkołę Podstawową nr 2, której kierownikiem został Feliks Czajkowski.

W roku 1963 szkoła posiadała już pięć pracowni: pracownię fizyczną, chemiczną, biologiczną, matematyczną, pracownię zajęć technicznych oraz salę gimnastyczną. W latach 1965/66 doszła pracownia polonistyczna i historyczna. W 1970 roku placówka była wyposażona w środki audiowizualne, nowoczesne pomoce dydaktyczne, itp., które w znacznym stopniu przyczyniły się do osiągania coraz lepszych wyników w nauczaniu u wychowaniu młodego pokolenia. W 1971 r. Szkoła Podstawowa nr 1 przeniosła się do nowego budynku przy ul. Okrzei. W budynku obecnym pozostały: Szkoła Podstawowa nr 2 oraz II Liceum Ogólnokształcące im. T. Kościuszki nadal pod wspólnym kierownictwem. 31 lipca 1978 r. odszedł ze stanowiska dyrektora p. Eugeniusz Czaja a objął je p. Mieczysław Kunka. W ciągu następnych 13 lat jego kadencji doszło do rozbudowy budynku: powstało nowe skrzydło z sześcioma klasami dla II L.O. oraz wspólna stołówka i sala gimnastyczna. Istotnym elementem historii szkoły było również formalne połączenie II L.O. im. T. Kościuszki i Szkoły Podstawowej nr 2 w Zespół Szkół Ogólnokształcących. Listopad 1991r. przyniósł kolejne zmiany: Kurator Oświaty w Tarnobrzegu podjął decyzję o likwidacji Zespołu Szkół Ogólnokształcących i powołał dwie odrębne jednostki organizacyjne: II Liceum Ogólnokształcące im. T. Kościuszki i Szkołę Podstawową nr 2. Kierownictwo szkoły objął p. Jan Orzeł, dotychczasowy wicedyrektor Zespołu Szkół Ogólnokształcących oraz p. Ewa Ciak. W roku 2004 pani mgr Ewa Ciak odeszła na emeryturę. Jej stanowisko objęła pani mgr Beata Wojas.

Mgr Jan Orzeł był dyrektorem Szkoły do 31. 08. 2012roku. Były zastępca dyrektora szkoły mgr Beata Wojas nadal pracuje na stanowisku nauczyciela w tej szkole .
W kwietniu 2012 roku konkurs na stanowisko dyrektora wygrała nauczycielka przyrody mgr Elżbieta Sobolewska. Z dniem 1.09 2012 roku została dyrektorem Szkoły Podstawowej nr 2 w Sandomierzu.