Gradnja dvorca je trajala skoraj deset let. Lambergovi so ga obdržali do leta 1652, v tem času pa so se kot njegovi lastniki zvrstili štirje člani rodbine. Zadnji med njimi, Janez Adam, je gospostvo leta 1644 zastavil Erazmu pl. Engelshausu, ki je bil lastnik dvorcev Ig (Zonek ali Sonneg) in Iški turn.
Engelshaus ga je po šestih letih prodal Eberhardu Leopoldu Ursiniju grofu Blagayu (Blagaju). Leta 1678 je gospostvo dokončno prešlo v njegovo last.
Blagajevi so v drugi polovici 18. stoletja dvorec temeljito prenovili. Pri tem so ohranili osnovno renesančno zasnovo s štirimi trakti, arkadnim dvoriščem in vogalnimi stolpi, spremenili pa so podobo vhodnega trakta. Ta je dobil baročne poteze z večjimi okni, poudarjenim osrednjim rizalitom in volutasto atiko. Prav ta del gradu je po požigu leta 1943 ostal eden njegovih najbolj prepoznavnih ostankov.
