Počasni propad gradu Žužemberk je povezan s selitvijo Viljema I. kneza Auersperga in njegove družine v dvorec Soteska leta 1793.
Kot je razvidno iz franciscejskega katastra, so bili l. 1825 v gradu prazni vsi prostori v srednjeveškem jedru, renesančnem vzhodnem traktu in v zahodnem traktu. Auerspergi so sicer ostali lastniki gradu v Žužemberku vse do nacionalizacije, ki jo je izvedla druga Jugoslavija po koncu druge svetovne vojne, vendar je bil grad ves čas bolj ali manj prazen in zapuščen.
Stanje gradu se je še poslabšalo konec 19. stoletja, predvsem zaradi davkov, ki so Auersperge ovirali vsaj pri minimalnem vzdrževanju gradu, kot tudi izselitevdržavnih uradov, ki so bili krajši čas najemniki več prostorov v gradu, v novo poslopje na trgu. Tik pred prvo svetovno vojno so lastniki gradu zaradi davka na strehe dali razkriti zahodni trakt s kaščo, razkrili in razdrli pa so tudi arkadne hodnike in stebre odpeljali in deponirali v pritličnih prostorih soteškega gradu. Kot zanimivost lahko omenimo, da je spomeniška služba takoj po koncu druge svetovne vojne pričela z reševanjem kvalitetnih kamnitih arhitekturnih detajlov iz med vojno požganih in zrušenih gradov v dolini reke Krke ter jih po načrtih arhitekta Marjana Mušiča vgrajevala v nove urbanistične in arhitekturne rešitve v povojni obnovi Novega mesta, npr. v spomeniški kompleks Na vratih, v Študijsko knjižnico, v stavbo nekdanje zavarovalnice DOZ na Glavnem trgu 24 in na vrtu Dolenjskega muzeja. Tu so bili dolgo časa deponirani tudi preostali kamniti kosi, danes pa jih hrani Zavod za varstvo kulturne dediščine Slovenije, Območna enota Novo mesto na zelenici ob gradu Grm v Novem mestu. Mnogi kamnoseško obdelani detajli izvirajo tako iz gradu Žužemberk kot iz ruševin dvorca Soteska.
Iz dokumentacije, ki jo hrani INDOK center na Ministrstvu za kulturo, je mogoče razbrati, da je po koncu prve svetovne vojne knez Karl Auersperg zaradi posredovanja krajanov in spomeniškega urada, ki so se zavedali pomena gradu za kraj, dal izvesti najnujnejša vzdrževalna dela v gradu. Na novo so s skodlami pokrili romanski stolp ter izvedli najnujnejša vzdrževalna dela na strehah. Po odvzemu gozdov s strani uprave Dravske banovine l. 1934 pa je bil grad dokončno prepuščen propadu. Zrušila se je streha nad severnim zgodnjerenesančnim traktom ob romanskem stolpu. Pred drugo svetovno vojno so razkrili renesančni vzhodni trakt in s tem uničili renesančno slavnostno poslikavo s stenskimi slikami, podrli arkadni hodnik na vzhodni strani dvorišča, razkrili streho nad romanskim palacijem in poznosrednjeveškim zahodnim traktom in odstranili renesančno obodno steno med grajskim jedrom in dvoriščem. Pokriti so ostali le obrambni stolpi in osrednji romanski stolp.
Med drugo svetovno vojno je bil grad med hudimi boji za Žužemberkzelo poškodovan. Zaradi letalskega bombardiranja in partizanskega topovskega obstreljevanja – v gradu je bila namreč domobranska postojanka – sta bili zrušeni južna in zahodna stena romanskega stolpa, pogorele so še preostale strehe v gradu, močno je bilo načeto tudi obodno zidovje na zahodni in severni strani. Tedaj je pogorelo tudi mogočno poslopje papirnice pod gradom.
Leta 1948 se je zrušil na kamion, poln strešne opeke, še preostanek romanskega stolpa, okoliški prebivalci pa so grajske ruševine pričeli izrabljati za gradbeni material. Leta 1956 so na trgu odstranili več med vojno porušenih hiš, po nepotrebnem pa tudi cerkev sv. Jakoba ter na njihovem mestu uredili zelenici, vmes pa speljali novo regionalno cesto. Ne glede na nove prometne zahteve je bila s tem dejanjem za vselej okrnjena originalna urbanistična zasnova trga, ki je na svoji severovzhodni strani v celoti izgubil svoj stavbni plašč.
Stanje gradu se je še poslabšalo konec 19. stoletja, predvsem zaradi davkov, ki so Auersperge ovirali vsaj pri minimalnem vzdrževanju gradu, kot tudi izselitevdržavnih uradov, ki so bili krajši čas najemniki več prostorov v gradu, v novo poslopje na trgu. Tik pred prvo svetovno vojno so lastniki gradu zaradi davka na strehe dali razkriti zahodni trakt s kaščo, razkrili in razdrli pa so tudi arkadne hodnike in stebre odpeljali in deponirali v pritličnih prostorih soteškega gradu. Kot zanimivost lahko omenimo, da je spomeniška služba takoj po koncu druge svetovne vojne pričela z reševanjem kvalitetnih kamnitih arhitekturnih detajlov iz med vojno požganih in zrušenih gradov v dolini reke Krke ter jih po načrtih arhitekta Marjana Mušiča vgrajevala v nove urbanistične in arhitekturne rešitve v povojni obnovi Novega mesta, npr. v spomeniški kompleks Na vratih, v Študijsko knjižnico, v stavbo nekdanje zavarovalnice DOZ na Glavnem trgu 24 in na vrtu Dolenjskega muzeja. Tu so bili dolgo časa deponirani tudi preostali kamniti kosi, danes pa jih hrani Zavod za varstvo kulturne dediščine Slovenije, Območna enota Novo mesto na zelenici ob gradu Grm v Novem mestu. Mnogi kamnoseško obdelani detajli izvirajo tako iz gradu Žužemberk kot iz ruševin dvorca Soteska.
Iz dokumentacije, ki jo hrani INDOK center na Ministrstvu za kulturo, je mogoče razbrati, da je po koncu prve svetovne vojne knez Karl Auersperg zaradi posredovanja krajanov in spomeniškega urada, ki so se zavedali pomena gradu za kraj, dal izvesti najnujnejša vzdrževalna dela v gradu. Na novo so s skodlami pokrili romanski stolp ter izvedli najnujnejša vzdrževalna dela na strehah. Po odvzemu gozdov s strani uprave Dravske banovine l. 1934 pa je bil grad dokončno prepuščen propadu. Zrušila se je streha nad severnim zgodnjerenesančnim traktom ob romanskem stolpu. Pred drugo svetovno vojno so razkrili renesančni vzhodni trakt in s tem uničili renesančno slavnostno poslikavo s stenskimi slikami, podrli arkadni hodnik na vzhodni strani dvorišča, razkrili streho nad romanskim palacijem in poznosrednjeveškim zahodnim traktom in odstranili renesančno obodno steno med grajskim jedrom in dvoriščem. Pokriti so ostali le obrambni stolpi in osrednji romanski stolp.
Med drugo svetovno vojno je bil grad med hudimi boji za Žužemberkzelo poškodovan. Zaradi letalskega bombardiranja in partizanskega topovskega obstreljevanja – v gradu je bila namreč domobranska postojanka – sta bili zrušeni južna in zahodna stena romanskega stolpa, pogorele so še preostale strehe v gradu, močno je bilo načeto tudi obodno zidovje na zahodni in severni strani. Tedaj je pogorelo tudi mogočno poslopje papirnice pod gradom.
Leta 1948 se je zrušil na kamion, poln strešne opeke, še preostanek romanskega stolpa, okoliški prebivalci pa so grajske ruševine pričeli izrabljati za gradbeni material. Leta 1956 so na trgu odstranili več med vojno porušenih hiš, po nepotrebnem pa tudi cerkev sv. Jakoba ter na njihovem mestu uredili zelenici, vmes pa speljali novo regionalno cesto. Ne glede na nove prometne zahteve je bila s tem dejanjem za vselej okrnjena originalna urbanistična zasnova trga, ki je na svoji severovzhodni strani v celoti izgubil svoj stavbni plašč.
