V druhej polovici 18. storočia bol pri kaštieli vybudovaný park s pravidelnou sieťou chodníkov s výraznými hlavnými cestami. Vysadené bolo i množstvo stromov. Pod južnou vežou bol park doplnený terasovitou záhradou, nádržou, uprostred ktorej bola plastika a ďalej menšie stavby.

V predĺženej osi s južnou vežou smerom k potoku bol v r. 1777 postavený mlyn, ktorý tu stál nepoškodený do 21. mája 1990, kedy ho podpálil 19-ročný obyvateľ Žiaru nad Hronom. Objekt mlynu bol do takej miery zničený, že holé múry, ktoré ostali po požiari, boli zrúcané, rumovisko odstránené, terén zrekultivovaný.

V roku 1824 bol vykopaný vodný kanál k rybníku v parku.

Za pôsobenia Mariána Blahu (biskup od roku 1921) vo Svätom Kríži boli v parku vykonané viaceré úpravy. Niektoré budovy ako napríklad záhradníctvo, si vyžadovali opravy.