Baronvay je dobil ime po madžarskem baronu in upokojenem višjem oficirju Avstro-Ogrske monarhije, ki je konec 19. stoletja kupil graščino, imenovano Prevrat (schloss Preurath), in jo je verjetno prezidal.
BaronVay de Vaya se je skupaj z ženo Adelmo (roj. Wurmbrand – Stuppach) verjetnopreselil v Konjice v sredini ali v drugi polovici 19. stoletja. Zakonca Vay deVaya sta v Konjicah uživala velik ugled. Sodelovala sta tudi v Odborupodružnice rdečega križa v Konjicah, ki je v devetdesetih letih 19.stoletja v Konjicah dal zgraditi bolnišnico. Poleg tega sta na svojem dvorcu vKonjicah prirejala sprejeme za veterane avstro-ogrske vojske, ki so bilivključeni v društvo, imenovano Militär-Veteranen-Verein. Po ustnih virih naj bikot zaslužen vojak dobil rezidenco na Malem Lošinju, kjer je s svojo ženoAdelmo preživljal zimske mesece. Baron Vay de Vaya je umrl leta 1921 in jepokopan na Malem Lošinju. Adelma von Vay je bila v svojem času širom habsburškemonarhije znana kot velika humanitarka in zdravilka ter spiritistka, ukvarjalase je z tudi z medialnim pisanjem.
