Mali grad, v katerem danes domuje Knjižnica Ivana Potrča Ptuj, sodi med najpomembnejše objekte starega ptujskega mestnega jedra. Markantna renesančno-baročna zgradba ob jugozahodnem obronku grajskega griča je skozi stoletja pomembno oblikovala ptujsko mestno veduto.
Zgradba, danes znana kot Mali grad, se v arhivskih virih se prvič omenja leta 1376, nastala pa je še pred sredino 13. stoletja, v času izgradnje mestnega obzidja. Najnovejša dognanja dr. Dejana Zadravca, ptujskega zgodovinarja in arhivista, razkrivajo, da gre za stavbo nekdanjega Pekovskega dvora (Pfisterhof). V dokumentih se takšno ime hiše pojavlja vse do konca 17. stoletja, ko ga postopoma zamenja poimenovanje Gornji svobodni dvor (Ober Freihof). V 20. stoletju se je za markantno stavbo na Prešernovi ulici uveljavilo ime Mali grad (ne gre ga zamenjati za Mali grad oz. castrum minus, ki se od leta 1247 dalje večkrat omenja na grajskem griču).
Dvor blizu dominikanskega samostana je imel strateško pomembno lego, saj je z zahodne strani ščitil vhod v ptujsko mestno jedro. V njegovi bližini so se nahajala prvotna mestna vrata, skozi katera je vodila cesta z mostišča v Vičavi v srednjeveško mesto. Po veliki poplavi leta 1348, ki je odnesla stari most na Vičavi in po premiku Drave do podnožja dominikanskega samostana, je Mali grad izgubil svoj strateški pomen. Mestna vrata ob Malem gradu so zamenjala nova na Hrvatskem trgu (današnji Dravski ulici), Mali grad pa se je znašel v ulici, ki je živahen tranzitni promet zamenjala z lokalnim.
Prvotno je bil dvor v lasti salzburških nadškofov. Ti so ga v fevd podelili gospodom Ptujskim, sicer prebivalcem Gornjega Ptuja, grajske trdnjave na griču nad mestom, ki je po velikosti in pomenu presegala grajske stavbe v mestu in okolici. Gospodje Ptujski so zgradbo Malega gradu potrebovali zaradi naraščajočih administrativno upravnih zadev in zaradi obrambe mesta. Dvor je bil sedež upravnega pomočnika ptujskega ministeriala, ki ga je ta zaradi obsežnosti svojih upravnih nalog nujno potreboval. Gospodje Ptujski so v njem stanovali le takrat, ko je Ptuj obiskal salzburški nadškof – takrat so se morali umakniti z grajskega griča in grajsko prebivališče odstopiti salzburškemu nadškofu.
Po izumrtju moške linije gospodov Ptujskih (1438) so dvor nasledili Schaunbergi (ok. 1445) in nato Szekely (1489). Od leta 1592 so z njim upravljali Idungspeugi. Leta 1618 so dvor dobili Herbersteini, 1650 rodbina Vetter von der Lilie, 1695 Wildensteini, 1740 Mosconi, leta 1771 pa Attemsi. Ti so dvor prodali Oskarju Pongratzu (med 1883 in 1886), lastniku dornavske veleposesti. V najetem dvoru je med letoma 1850 in 1889 uradovalo Okrajno glavarstvo. Pongratzovi dediči so imeli dvor v lasti do konca leta 1940, ko ga je kupil Kurt Elsbacher, oskrbnik Pongratzovih dornavskih posesti (Zadravec, 2025: 19–44).
Po drugi svetovni vojni je bila stavba nacionalizirana in namenjena neprofitni stanovanjski rabi. Zaradi neprimerne rabe in slabega vzdrževanja je bila na poti propadanja. V 70. letih 20. stoletja je bila v občinskih načrtih revitalizacije starega mestnega jedra za Mali grad določena nova namembnost – za zgodovinsko, arhitekturno in urbanistično pomemben stavbni kompleks je bila predvidena celovita prenova za potrebe ptujske knjižnice, ki je takrat domovala v ptujskem minoritskem samostanu.
