Zgradba, v kateri danes domuje Knjižnica Ivana Potrča Ptuj, sodi med najpomembnejše objekte starega ptujskega mestnega jedra. Markantna renesančno-baročna zgradba ob jugozahodnem obronku grajskega griča je skozi stoletja pomembno oblikovala ptujsko mestno veduto.
Pekovski dvor ali Gornji svobodni dvor pri dominikanskem samostanu, ki je danes znan pod imenom Mali grad, se v arhivskih virih prvič omenja leta 1376, nastal pa je še pred sredino 13. stoletja, v času izgradnje mestnega obzidja (ne gre ga zamenjati za Mali grad oz. castrum minus, ki se od leta 1247 dalje večkrat omenja na grajskem griču). Dvor je imel strateško pomembno lego, saj je z zahodne strani ščitil vhod v ptujsko mestno jedro. V njegovi bližini so se nahajala prvotna mestna vrata, skozi katera je vodila cesta z mostišča v Vičavi v srednjeveško mesto. Po veliki poplavi leta 1348, ki je odnesla stari most na Vičavi in po premiku Drave do podnožja dominikanskega samostana, je Mali grad izgubil svoj strateški pomen. Mestna vrata ob Malem gradu so zamenjala nova na Hrvatskem trgu (današnji Dravski ulici), Mali grad pa se je znašel v ulici, ki je živahen tranzitni promet zamenjala z lokalnim.
Dvor je bil v lasti salzburških nadškofov. Ti so ga v fevd podelili gospodom Ptujskim, sicer prebivalcem Gornjega Ptuja, grajske trdnjave na griču nad mestom, ki je po velikosti in pomenu presegala grajske stavbe v mestu in okolici. Gospodje Ptujski so zgradbo Malega gradu potrebovali zaradi naraščajočih administrativno upravnih zadev in zaradi obrambe mesta. Dvor je bil sedež upravnega pomočnika ptujskega ministeriala, ki ga je ta zaradi obsežnosti svojih upravnih nalog nujno potreboval. Gospodje Ptujski so v njem stanovali le takrat, ko je Ptuj obiskal salzburški nadškof – takrat so se morali umakniti z grajskega griča in grajsko prebivališče odstopiti salzburškemu nadškofu.
Po izumrtju moške linije gospodov Ptujskih (1438) so dvor nasledili Schaunbergi (ok. 1445) in nato Szekely (1489). Od leta 1592 so z njim upravljali Idungspeugi. Leta 1618 so dvor dobili Herbersteini, 1650 rodbina Vetter von der Lilie, 1695 Wildensteini, 1740 Mosconi, leta 1771 pa Attemsi. Ti so dvor prodali Oskarju Pongratzu (med 1883 in 1886), lastniku dornavske veleposesti. V najetem dvoru je med letoma 1850 in 1889 uradovalo Okrajno glavarstvo. Pongratzovi dediči so imeli dvor v lasti do konca leta 1940, ko ga je kupil Kurt Elsbacher, oskrbnik Pongratzovih dornavskih posesti.
Po drugi svetovni vojni je bila stavba nacionalizirana in namenjena neprofitni stanovanjski rabi. Zaradi neprimerne rabe in slabega vzdrževanja je bila na poti propadanja. V 70. letih 20. stoletja je bila v občinskih načrtih revitalizacije starega mestnega jedra za Mali grad določena nova namembnost – za zgodovinsko, arhitekturno in urbanistično pomemben stavbni kompleks je bila predvidena celovita prenova za potrebe ptujske knjižnice, ki je takrat domovala v ptujskem minoritskem samostanu.
