Grad Otočec je bil prvotno na talni osnovi pozidan dvor (današnja vhodna veža, sanitarije in lovska soba) iz srede 13. stoletja.
V prvi polovici 14. stoletja so k stolpastemu dvoru dodali obzidano predgradje, po sredini 15. stoletja pa prizidali še južni trakt (današnja restavracija). Že ob koncu 15. stoletja je grad v obrambo vse pogostejšim turškim napadom dobil novo zunanje obzidje z vogalnimi okroglimi stolpi. V prvi polovici 16. stoletja so grad dodatno zavarovali z zahodnim stolpom na pravokotni talni osnovi (današnja poročna dvorana), osnovni stavbni kubus opremili z zidanimi pomoli in jih okrasili s stenskimi poslikavami, zgradili nov utrjen vhodni stolp, v katerem je še danes vhod na grajsko dvorišče, ter grad dodatno zavarovali z obrambnim jarkom. Sredi 17. stoletja so do konca zgradili južni trakt, dogradili vhodni stolp in obzidje obdali s hodniki. Ker nevarnosti z juga ni bilo več, so v tem času zasuli obrambni jarek ob grajskem vhodu, po sredini 18. stoletja pa severovzhodni obrambni stolp preuredili v kapelo z Marijino oltarno sliko, delom Valentina Metzingerja, ter odstranili obzidne hodnike.
