Gradbena zgodovina Malega gradu sega v visoko romansko dobo, v drugo četrtino 12. stoletja. Stavbo so v teku časa večkrat prezidavali, današnjo obliko so ji dali številni gradbeni posegi od 12.–19. stoletja.
Prvo veliko prezidavo je objekt doživel konec 15. stoletja, v času Szekelyjev. Ti so iz prvotne romanske stavbe zgradili trietažno poznogotsko stavbo, ki tvori jedro današnjega gradu. Ta poznogotski dvor je bil, tako kot že njegov romanski prednik, podkleten, nadstropen, tlorisno pa trapezast in prekrit z zatrepasto streho. Njegovo fasadno lice se je iz zahodne razširilo tudi na severno stranico, medtem ko je vzhodno, tako kot pri predniku, prediral vhod, dosegljiv po lesenem stopnišču. Okoli leta 1500 so dvoru na njegovem jugovzhodnem delu dogradili še kapelo ter severni pritličen in nepodkleten gospodarski objekt, ki so ga med leti 1510 in 1520 opečno nadzidali in opremili s paličastimi okenskimi okvirji (konec 16. stoletja je bil ta del delno nadzidan, po požaru leta 1710 pa obnovljen, urejena je bila reprezentančna etaža z dekorativnim lesenim stropom, velikimi okni in kotnim balkonom).
Druge velike, renesančne prezidave, ki je popolnoma spremenila dvorov videz, so se ob koncu 16. stoletja lotili Indungspeugi. Podrli so severni del poznogotskega dvora ter v treh gradbenih etapah zgradili kompleten nadstropen severni trakt, ki je na zahodnem delu vase vključil pritlehni del prejšnjega dvora. Porušena je bila tudi grajska kapela. S postavitvijo severnega trakta je dvor dobil novo tlorisno podobo v obliki črke L in novo (ulično) fasado, opremljeno s tremi vrstami oken in lin. Pritlični prostori dvora so bili dostopni z dvoriščne strani skozi dvoje vrat, nadstropne pa je povezoval lesen mostovž. Velike spremembe je doživela tudi dvorova okolica, saj sta zahodno in vzhodno dvorišče dobila obzidje z velikima portaloma, nastajati pa je začelo tudi vzhodno krilo gospodarskega poslopja, ki je za časa Herbersteinov doseglo sedanjo obliko in velikost.
Tretjo povečavo je dvor doživel v času Herbersteinov (1633–1690), ki so poznogotskemu jedru prizidali južni trakt z odprto vežo in polkletjo v pritličju ter sobano v nadstropju. Wildensteini (1690–1740) v gradbeno sestavo dvora niso močneje posegali, Mosconom (1740–1773) pa lahko pripišemo zazidavo lokov na koncu južnega trakta ter obokanje velike in male kleti ter polkleti nad njo.
Leta 1773 je dvor dobila v posest družina Attems. Atemsi so zgradbo povišali za 80 cm in celotno jedro dvora prekrili z mogočno, 14 m visoko streho, južno fasado pa zaključili z velikim trietažnim trapeznim čelom. Notranje dvorišče med severnim in južnim traktom so izzidali v veliko vhodno vežo s stopniščem, segajočim od kleti do podstrešja, pritlično etažo severnega trakta pa plitvo podkletili in pokrili s križnimi oboki, počivajočimi na vitkih kamnitih nosilcih.
Večjo prezidavo je Mali grad doživel še sredi 19. stoletja, ko je postal sedež okrajnega glavarstva (1850–1886). Dobil je neorenesančno severno in zahodno fasado, izgubil pa bogato dvoriščno fasado s kotnim balkonom. V notranjosti je stavba doživela večje predelave, potrebne za funkcioniranje glavarstva – med drugim so znižali in pregradili veliko dvorano v severnem traktu.
Zadnja velika prenova in revitalizacija Malega gradu za potrebe ptujske knjižnice se je izvršila v 90-ih letih 20. stoletja. Tako je bil zgodovinsko, arhitekturno in urbanistično pomembnemu objektu zagotovljen nadaljni obstoj, saj je bil v času po 2. svetovni vojni zaradi neprimerne rabe in oskrbe v fazi propadanja.
