Leta 1490 je z Jakobom Székely gospostvo prišlo v last družine Székely za več kot stoletje.
Novo obdobje v zgodovini gospostva in gradu Borl se je začelo leta 1639, ko je grad prešel v last rodbine Sauer. V njihovi posesti grofov Sauer je ostal do leta 1801, ko ga je grof Vincenc Sauer prodal knezu Stanislavu Poniatowskemu.
Leta 1803 ga je od kneza Poniatowskega kupila grofica Marija Viljemina Leslie, rojena Wurmbrand, ki si je v njem uredila svojo vdovsko rezidenco; na gradu je preživela skoraj pol stoletja in je bila po smrti pokopana na pokopališču pri sv. Barbari. Že leta 1843 je dala grad prepisati na svojega nečaka grofa Ferdinanda Wurmbrand-Stuppacha, ki pa ga je dejansko prevzel šele po njeni smrti leta 1851 in ga je leta 1854 dal obnoviti ter preurediti v prijetno poletno rezidenco.
