O samih začetkih gradu ni pisnih virov. Prva pisna omemba Borla sega v leto 1255, ko ga je ogrski kralj in takratni štajerski vojvoda Bela IV. podelil Frideriku Ptujskemu v fevd.
Nastanek gradu Borl je tesno povezan s postopnim izoblikovanjem vzhodne meje med vojvodino Štajersko in Ogrskim kraljestvom v 11. in 12. stoletju, ki so jo dokončno definirali dogodki okrog leta 1200, ko je Friderik III. Ptujski (1180-1220) s pomočjo nemškega viteškega reda Madžarom iztrgal ormoški okoliš ter na levem bregu reke Drave mejo prestavil še bolj proti vzhodu vse do prostora Središča ob Dravi. Istočasno so Draneški gospodje, ki so imeli v posesti sosednji grad Dranek nad Vidmom pri Ptuju, na desnem bregu Drave zavzeli sosednji Borl z okolico, se pravi celotne vinorodne Haloze vse do Zavrča.
Da so prav Draneški gospodje zavzeli Borl, priča njihov grb, srebrno narobe obrnjeno sidro v rdečem polju, nemško Anker, kar vzbuja asociacijo z nemškim poimenovanjem gradu Ankenstein. Ta grb so nato leta 1294 vzeli za svojega Ptujski gospodje, ko so postopoma dobili v svoje roke posesti Draneških gospodov. V rokah mogočnih gospodov Ptujskih je Borl ostal vse do leta 1438, ko je rodbina v moški liniji s Friderikom IX. Izumrla.
V 50-ih letih po njegovi smrti se je na gospostvu izmenjalo več lastnikov. Leta 1481 je grad zavzela in porušila vojska madžarskega kralja Matije Korvina pod poveljstvom Viljema Tettauerja. Kot priznanje za zasluge je Tettauer od kralja grad leta 1482 dobil v zastavo in ga obdržal vse do leta 1488, ko ga je Matija Korvin izplačal. Tega leta je v zahvalo za zasluge na vojaškem področju gospostvo in grad Borl podelil v svobodno last Jakobu Székelyu, poveljniku mest Ptuja in Radgone ter lastniku Ormoža.
Po Korvinovi smrti leta 1490 je Jakob Székely najprej prisegel zvestobo njegovemu nezakonskemu sinu Ivanu Korvinu, zaradi spora pa je kasneje Jakob prestopil na stran dotedanjega nasprotnika cesarja Friderika III. in mu v ta namen izročil svoje posesti na Štajerskem. Ivan Korvin je ukazal zavzeti strateško pomembni Borl, a je po hudih bojih moral opustošeni grad zapustiti, s čimer je ta ponovno prešel v deželnoknežjo posest. Cesar Friderik III. je Jakoba Székelya za zvestobo nagradil, saj je njega in njegove sorodnike povzdignil v baronski stan, gospostvo Borl pa mu podelil v večni zakup za 12000 goldinarjev. Leta 1494 je novi cesar Maksimilijan to podelitev potrdil in še izboljšal, saj je gospostvo Borl izročil Jakobu Székelyju v svobodno last.
Da so prav Draneški gospodje zavzeli Borl, priča njihov grb, srebrno narobe obrnjeno sidro v rdečem polju, nemško Anker, kar vzbuja asociacijo z nemškim poimenovanjem gradu Ankenstein. Ta grb so nato leta 1294 vzeli za svojega Ptujski gospodje, ko so postopoma dobili v svoje roke posesti Draneških gospodov. V rokah mogočnih gospodov Ptujskih je Borl ostal vse do leta 1438, ko je rodbina v moški liniji s Friderikom IX. Izumrla.
V 50-ih letih po njegovi smrti se je na gospostvu izmenjalo več lastnikov. Leta 1481 je grad zavzela in porušila vojska madžarskega kralja Matije Korvina pod poveljstvom Viljema Tettauerja. Kot priznanje za zasluge je Tettauer od kralja grad leta 1482 dobil v zastavo in ga obdržal vse do leta 1488, ko ga je Matija Korvin izplačal. Tega leta je v zahvalo za zasluge na vojaškem področju gospostvo in grad Borl podelil v svobodno last Jakobu Székelyu, poveljniku mest Ptuja in Radgone ter lastniku Ormoža.
Po Korvinovi smrti leta 1490 je Jakob Székely najprej prisegel zvestobo njegovemu nezakonskemu sinu Ivanu Korvinu, zaradi spora pa je kasneje Jakob prestopil na stran dotedanjega nasprotnika cesarja Friderika III. in mu v ta namen izročil svoje posesti na Štajerskem. Ivan Korvin je ukazal zavzeti strateško pomembni Borl, a je po hudih bojih moral opustošeni grad zapustiti, s čimer je ta ponovno prešel v deželnoknežjo posest. Cesar Friderik III. je Jakoba Székelya za zvestobo nagradil, saj je njega in njegove sorodnike povzdignil v baronski stan, gospostvo Borl pa mu podelil v večni zakup za 12000 goldinarjev. Leta 1494 je novi cesar Maksimilijan to podelitev potrdil in še izboljšal, saj je gospostvo Borl izročil Jakobu Székelyju v svobodno last.
