Žunkovič je bil velik bibliofil. Njegova zasebna knjižnica je bila kvalitetna in bogato založena, predvsem z znanstvenimi deli s področja slavistike, narodopisja, zgodovine in religije.
Knjige, zlasti jezikoslovne, je kupoval že kot kadet, od leta 1882 naprej. Leta 1924 je njegova knjižnica, o kateri je skrbno vodil katalog, štela 1520 znanstvenih del in 352 map. V slednjih je imel spravljene predvsem specialne zemljevide v različnih merilih in biblijske karte. Zaradi pogostih selitev in pomanjkanja prostora je mnogo knjig iz svoje zbirke podaril različnim ustanovam, šolam in kulturnim društvom. V letu 1925 je večje število knjig podaril Študijski knjižnici v Mariboru, katere ravnatelj je bil. Nekaj jih je tudi prodal. Knjižnica ptujskega muzeja, ki jo je kot aktiven član Muzejskega društva v Ptuju pomagal urejati, je leta 1934 od njega kupila nekaj starejših slovenskih in srbskih tiskov iz 17.–19. stoletja, v glavnem z versko vsebino. Leta 1935 je Žunkovičeva knjižnica štela še 921 del in 592 map.
Po Žunkovičevi smrti (1940) je njegova soproga skoraj celotno knjižnico podarila ptujskemu muzeju. Vsebovala je okrog 360 dragocenih knjig, pretežno s področja zgodovine in jezikoslovja v slovenskem, češkem, slovaškem, ruskem, poljskem, srbskem in hrvatskem jeziku. V njej so bila dela starejših slovenskih cerkvenih pisateljev, zbirka slovenskih slovarjev in slovnic, od Vodnikove Pismenosti ali gramatike do Kopitarjeve, Dajnkove, Metelkove slovnice … V njej je bil tudi velik del Miklošičevih in Trstenjakovih razprav, študije o sv. Cirilu in Metodu, starejši tiski iz ruske in češke literature, razprave o Kraljedvorskem in Zelenogorskem rokopisu idr.
Po drugi svetovni vojni je Žunkovičeva knjižnica skupaj s Ferkovo knjižnico ptujskega muzeja prešla v novoustanovljeno Študijsko knjižnico v Ptuju (1948), predhodnico Knjižnice Ivana Potrča Ptuj.
