Prvotni grad je imel značilno renesančno utrdbeno zasnovo. Štirje trakti so obdajali notranje dvorišče, na vogalih pa so stali obrambni stolpi. Kompleks je obdajalo obzidje z obrambnimi odprtinami, do glavnega vhoda pa je vodil dvižni most.
Na severni strani je obzidje varoval še posebej utrjen obrambni stolp. V 18. stoletju so Blagajevi grad temeljito prenovili in ga prilagodili udobnejšemu bivanju. Renesančno zasnovo so ohranili, spremenili pa predvsem podobo vhodnega trakta: povečali so okna, poudarili osrednji rizalit ter mu dodali volutasto atiko. Uredili so tudi okolico z vrtovi, sadovnjaki in parkom.
Takšen, že večkrat prezidan grad, je leta 1925 popisal konservator France Stele. Njegov zapis nam omogoča vpogled v Boštanj pred njegovim uničenjem. Opisal je sklenjen kompleks z nepravilnim štirikotnim dvoriščem, štirimi trakti in vogalnimi stolpi, glavno pročelje pa je označil za pozno rokokojsko. Poudarjali so ga velik, kamnit portal, ura in volute.
Tudi notranjost gradu je bila bogato okrašena. Stele je opisal več prostorov z ohranjenimi stenskimi poslikavami – od cvetličnih in figuralnih motivov do krajin in prizorov iz narave. Posebej zanimiva je bila grajska kapela s poznobaročno osmerokotno zasnovo in povesnjeno kupolo. V njej je stal oltar iz 18. stoletja z marmornatimi deli, pozlačenimi okraski in kipi, med drugim pa je Stele omenil tudi sliko sv. Ane, ki uči Marijo brati.
Boštanj je slovel tudi po knjižnici, ki je sodila med najbogatejše na tedanjem Kranjskem. V katalogu, nastalem leta 1766, je bilo naštetih 1210 del z različnih področij tedanjega znanja, napisanih v latinščini, francoščini, italijanščini in nemščini. Med knjižnim gradivom so bili tudi stari zemljevidi, bakrorezi in libreta italijanskih oper.
