Dvorec Pogonik se nahaja na manjši vzpetini nad reko Savo, na njenem najbolj vijugastem delu, približno tri kilometre iz smeri Litija – Ljubljana. Pod njim je dvotirna železniška proga, ki vodi od Celja do Ljubljane.
Vlakovne kompozicije po prehodu čez most izginjajo v 123 metrov dolg predor pod gradom.
Dvorec se prvič omenja leta 1444 kot Paganikg (Poganik). Sezidali so ga verneški (Wernegkhi) gospodje z gradu Vernek, ki so za njegovo gradnjo uporabili kamen s porušenega verneškega gradu.
Na Valvasorjevem bakrorezu predstavlja tipično renesančno grajsko stavbo. Pozidana je v skoraj kvadratnem tlorisu in krita s strmo štirikapno streho v treh etažah. Na južni strani, kjer je vhod, je v višini nadstropja opremljena z vogalnima pomoloma.
Današnja stavba le delno spominja na prvotno gradnjo. Njene stene so na tlorisu v obliki črke L, tanjše in večidel na novo pozidane.
Portal iz peščenjaka s posnetimi robovi, ki se je nahajal na južni steni stavbe, so po vojni izluščili iz razvalin in ga prenesli na grad Bogenšperk, kjer so ga vzidali v pritličje dvoriščnega stolpa.
Pomola na južni strani sta modernizirana in nameščena na prvotnih mestih, dodan je pomol na novem vogalu nekdanje predelne stene na severni strani.
Pozneje so se lastniki pogosto menjavali in grad preprodajali:
- Andrej Verneški (1552-53),
- Franc Wagen Wagensberški (lastnik gradu Bogenšperk do leta 1583 in kasneje »Litijskega turna«, ki ga je leta 1587 zamenjal za grad Pogonik) in številni drugi.
V času druge svetovne vojne so se vanj naselili nemški vojaki in naredili utrjeno postojanko. Partizani so grad leta 1944 požgali; istočasno so z napadom na železniški most v Pogoniku ohromili okupatorjevo povezavo med evropskimi bojišči.
Lastnik Franc Gnezda, kmet iz Unca pri Rakeku, ki je grad kupil leta 1940, ga je po vojni skupaj s sinom Dušanom obnovil in predelal v lepo vilo.
