Z zgodovino zgradbe se je v preteklosti ukvarjal umetnostni zgodovinar Jože Curk. Leta 1996, v času obnove Malega gradu za potrebe ptujske knjižnice, je v Ptujskem zborniku VI/I objavil članek z naslovom Mali grad na Ptuju, v katerem je opisal stavbno zgodovino zgradbe. V tem poglavju objavljamo kratek povzetek njegovih ugotovitev, v naslednjem pa kratek povzetek članka Igorja Sapača z naslovom Novejša spoznanja o stavbnem razvoju Malega gradu, ki je bil objavljen v zborniku Mali grad na Ptuju. Ta je izšel leta 2025, ob 25. obletnici delovanja Knjižnice Ivana Potrča Ptuj v stavbi Malega gradu v Prešernovi ulici.
Na kratko povzeto po prispevku Jožeta Curka:
Stavbo so v teku časa večkrat prezidali, današnjo obliko so ji dali številni gradbeni posegi od 13.–19. stoletja. Najstarejši del stavbe Malega gradu je ohranjen v njegovem jugozahodnem delu. Prvotni, okoli 21 x 10 m velik dvor je imel tlorisno obliko romba. Z glavno, to je zahodno fasado, je bil obrnjen proti prihajajoči cesti, ki je čez prvotni most na Vičavi, vzhodno od sedanjega kompleksa dominikanska samostana, vodila po ravnici pod samostanom in se skozi mestna vrata pred Malim Gradom povzpela v mestno jedro.
Prvo veliko prezidavo je objekt doživel konec 15. stoletja oz. najkasneje ok. leta 1500, v času Szekelyjev. Ti so iz prvotne romanske stavbe zgradili trietažno poznogotsko stavbo, ki tvori jedro današnjega gradu. Ta poznogotski dvor je bil, tako kot že njegov romanski prednik, podkleten, nadstropen, tlorisno pa trapezast in prekrit z zatrepasto streho. Njegovo fasadno lice se je iz zahodne razširilo tudi na severno stranico, medtem ko je vzhodno, tako kot pri predniku, prediral vhod, dosegljiv po lesenem stopnišču. Okoli leta 1500 so dvoru na njegovem jugovzhodnem delu dogradili še kapelo ter severni pritličen in nepodkleten gospodarski objekt, ki so ga med leti 1510 in 1520 opečno nadzidali in opremili s paličastimi okenskimi okvirji (konec 16. stoletja je bil ta del delno nadzidan, po požaru leta 1710 pa obnovljen, urejena je bila reprezentančna etaža z dekorativnim lesenim stropom, velikimi okni in kotnim balkonom).
Druge velike, renesančne prezidave, ki je popolnoma spremenila dvorov videz, so se ob koncu 16. stoletja lotili Idungspeugi. Podrli so severni del poznogotskega dvora ter v treh gradbenih etapah zgradili kompleten nadstropen severni trakt, ki je na zahodnem delu vase vključil pritlehni del prejšnjega dvora. Porušena je bila tudi grajska kapela. S postavitvijo severnega trakta je dvor dobil novo tlorisno podobo v obliki črke L in novo (ulično) fasado, opremljeno s tremi vrstami oken in lin. Pritlični prostori dvora so bili dostopni z dvoriščne strani skozi dvoje vrat, nadstropne pa je povezoval lesen mostovž. Velike spremembe je doživela tudi dvorova okolica, saj sta zahodno in vzhodno dvorišče dobila obzidje z velikima portaloma, nastajati pa je začelo tudi vzhodno krilo gospodarskega poslopja, ki je za časa Herbersteinov doseglo sedanjo obliko in velikost.
Tretjo povečavo je dvor doživel v času Herbersteinov, ki so poznogotskemu jedru prizidali južni trakt z odprto vežo in polkletjo v pritličju ter sobano v nadstropju. Wildensteini, v gradbeno sestavo dvora niso močneje posegali, Mosconom pa lahko pripišemo zazidavo lokov na koncu južnega trakta ter obokanje velike in male kleti ter polkleti nad njo.
V zadnji četrtini 18. stoletja so Atemsi zgradbo povišali za 80 cm in celotno jedro dvora prekrili z mogočno, 14 m visoko streho, južno fasado pa zaključili z velikim trietažnim trapeznim čelom. Notranje dvorišče med severnim in južnim traktom so izzidali v veliko vhodno vežo s stopniščem, segajočim od kleti do podstrešja, pritlično etažo severnega trakta pa plitvo podkletili in pokrili s križnimi oboki, počivajočimi na vitkih kamnitih nosilcih.
Večjo prezidavo je Mali grad doživel še sredi 19. stoletja, ko je postal sedež okrajnega glavarstva (1850–1889). Dobil je neorenesančno severno in zahodno fasado, izgubil pa bogato dvoriščno fasado s kotnim balkonom. V notranjosti je stavba doživela večje predelave, potrebne za funkcioniranje glavarstva – med drugim so znižali in pregradili veliko dvorano v severnem traktu.
Zadnja velika prenova in revitalizacija Malega gradu za potrebe ptujske knjižnice se je izvršila v 90. letih 20. stoletja. Tako je bil zgodovinsko, arhitekturno in urbanistično pomembnemu objektu zagotovljen nadaljnji obstoj, saj je bil v času po 2. svetovni vojni zaradi neprimerne rabe in oskrbe v fazi propadanja.
