Szeroką, główną aleję (obecnie al. bp. Jana Chrapka) wytyczono na osi prowadzącej od siedziby Komisji Województwa Sandomierskiego w kierunku wybudowanego później kościoła mariackiego. Między alejkami zaplanowano kręte ścieżki. Teren został obsadzony starannie dobranymi, także rzadkimi, gatunkami drzew – poza klonami, wiązami i jaworami były to amerykańskie tulipanowce, modrzewie japońskie i lipy krymskie. W latach 1870-75 w części parku od strony ul. Dmitrijewskiej (obecnie ul. Słowackiego) usypano niewielkie wzgórze, na którym wzniesiono romantyczne ruiny baszty z częścią ściany zamkowej. Z kolei w latach 1881-1883 park otoczono parkanem z kutego żelaza. Wejść można było przez jedną z trzech bram – od ul. Lubelskiej (obecnie ul. Żeromskiego), Dmitrijewskiej (ul. Słowackiego) czy Michałowskiej (ul. Sienkiewicza). Porządku pilnował stróż, który wieczorami obchodził cały teren z dzwonkiem, przypominając zapóźnionym spacerowiczom, że czas wyjść, bo bramy zostaną zamknięte. W 1909 roku zainstalowane zostało elektryczne oświetlenie. Trzy lata później wybudowano w parku altanę – pierwszy żelbetonowy obiekt w Radomiu.
Radomianie w nowym ogrodzie nie tylko odpoczywali i spacerowali. Organizowano tu rozmaite koncerty, festyny, loterie fantowe, zabawy i imprezy charytatywne.
Ponieważ park założony został za czasów urzędowania gubernatora Dmitrija Gawriłowicza Anuczina, nazywano go ogrodem Anuczinowskim albo Nowym Ogrodem (w odróżnieniu od Starego Ogrodu. Funkcjonowało także określenie Ogród Saski, zwłaszcza w początkach istnienia parku, nawiązujące do warszawskiego pierwowzoru. 24 marca 1916 roku, w 122. rocznicę przysięgi na krakowskim Rynku, ogrodowi nadano imię Tadeusza Kościuszki.
W latach 20. w parku od strony ul. Żeromskiego wybudowana została kawiarnia Latona.
Wygląd wygląd ogrodu w zasadzie nie zmienił aż do końca II wojny światowej. W lutym 1945 na skraju parku od strony ul. Żeromskiego pochowano 34 żołnierzy radzieckich poległych podczas wyzwalania miasta spod okupacji hitlerowskiej; postawiono tu też pomnik (w 1993 roku obelisk i prochy przeniesiono na cmentarz prawosławny).
W latach 50. postawiono w parku muszlę koncertową (spłonęła w latach 80. XX wieku).
