Grajski grič je bil zaradi strateške lege naseljen že v mlajši kameni in zgodnji bakreni dobi. Po večstoletni prekinitvi je bil ponovno poseljen v bronasti dobi (1000-750 pr. n. št.) in nato ponovno ob koncu mlajše železne dobe, v 1. stoletju pr. n. št., ko so tu živeli Kelti.
V zgodnjem rimskem času bi naj na grajskem griču obstajala opazovalnica, nekoliko kasneje pa morda še Jupitrovo svetišče, v pozni antiki pa naj bi na grajskem griču nastala stavba, morda cerkev ali trdnjavica, ter grobišče. V zgodnjem srednjem veku, v času prihoda Slovanov, je bilo na tem območju slovansko svetišče ter obsežno grobišče.
Kdaj je na griču nad mestom nastala srednjeveška trdnjava, ni povsem jasno. Prva arhivska omemba iz časa okrog 1170, pravi, da je salzburški nadškof Konrad I., ki je bil na tem položaju med letoma 1106 in 1147, obnovil v razvalinah ležeči grad, ki naj bi varoval salzburške posesti v Podravju. Torej je na grajskem griču že pred 12. stoletjem stal zidani grad. Njegov ostanek je zahodni stolp, ki stoji na »turnirskem prostoru«, na skrajnem zahodnem robu grajske ravnice. Nastal naj bi med 10. in 11. stoletjem in je v novem veku doživel več prezidav. V 12. stoletju je dal Konrad I. na najvišjem delu grajskega griča postaviti mogočen palacij (danes JV trakt osrednje grajske stavbe), v njegovo neposredno bližino pa štirinadstropen stolp, imenovan tudi »veliki« oz. Konradov stolp, v katerem je bila orožarna, v njem pa je bila nastanjena tudi vojaška posadka. Konradov stolp so ob velikih prezidavah proti koncu 17. stoletja porušili.
V 13. stoletju je grajski kompleks dobil svojo tipično tridelno zasnovo: zahodni in vzhodni grajski plato, osrednje grajsko dvorišče z vodnjakom, palacijema, bergfridom (obrambni stolp) in stranskimi poslopji na osrednji vzpetini griča. Gospodje Ptujski so zgradili osrednje dvonadstropno grajsko poslopje, ki je v 14. stoletju že imelo današnji podkvasti tloris. Da je bila stavba takrat že dvonadstropna dokazujeta polžasti stopnišči v vogalih od pritličja do podstrešja. Grajsko obzidje je bilo takrat že povezano z mestnim v enoten obrambni sistem.
V drugi polovici 16. stoletja so grajsko stavbo zaradi grozeče turške nevarnosti na novo utrdili. Dela so vodili italijanski gradbeniki. Najbolj so utrdili južno obrambno obzidje. Za topovsko obrambo so usposobili z mogočno eskarpo utrjen južni plato, zgradili kazemate, okrepili obzidje, dostop do grajskega jedra pa zavarovali s tremi portali: severni in južni Karlov portal (imenovana po nadvojvodi Karlu II.) sta imela dvižna mostova nad jarkom, vhod v notranje grajsko dvorišče pa je ščitil Peruzzijev portal, imenovan po njegovem graditelju Giovanniu Salustio Peruzzi. Italijanski mojstri so se lotili tudi reprezentančne podobe gradu. Osrednji grajski stavbi so na dvoriščni strani v vseh etažah prizidali arkade, v južnem krilu gradu pa zgradili novo široko stopnišče, ki je zamenjalo ozke polžaste stopnice iz obdobja gotike in je v rabi še danes.
V drugi polovici 17. stoletja, ko Turki niso več ogrožali naših krajev, je grad dobil novo podobo. Renesančne prezidave v 17. stoletju, ki so grajskemu kompleksu dale današnjo, v trikotnik ujeto obliko, niso bile več obrambnega, temveč reprezentančnega značaja. Grajski lastniki (družina Leslie) so podrli veliki Konradov stolp na notranjem grajskem dvorišču, zgradili pa vzhodni zaključek grajskega kompleksa: nasproti zahodnemu so postavili vzhodni stolp, ob katerem je zrasla še konjušnica. Obnovili so tudi jugovzhodni grajski trakt in ga okrasili z bogato stropno štukaturo ter na novo postavili severovzhodno krilo z imenitno viteško dvorano in grajsko kapelo s stolpičem.
V 18. stoletju se je ptujski grad iz trdnjave dokončno spremenil v sedež veleposestva. Temu se je prilagodila tudi nova gradnja. Zgrajene so bile velike gospodarske stavbe: tik pod starim romanskim palacijem, ob južnem Karlovem portalu je zraslo upravno poslopje, ob severnem robu grajskega griča velika žitnica, ob severnem vznožju grajskega griča pa nova gospodarska enota s pristavo in hlevi.
V 19. stoletju so se na ptujskem gradu začela obnovitvena in vzdrževalna dela. Leta 1873 je grad kupila grofica Terezija Herberstein in ga začela obnavljati. Herbersteini so grad popravili in opremili do leta 1912. Veliko pohištva in slik so pripeljali iz gradu Vurberg in Hrastovec. Z Vurberga so na ptujski grad prinesli tudi zbirko militarij in obsežno zbirko slik iz 17. stoletja s podobami turških in evropskih vojskovodij, politikov, ter razkošno oblečenih žena sultanovega seraja (turkerije).
