Po ponovni priključitvi Bele krajine k deželi Kranjski je mesto Metlika zaradi ugodnega prometnega položaja postajalo vse pomembnejše in je bilo še v 14. stoletju središče pokrajine med Kolpo in Gorjanci, to je Metliške marke.
Leta 1300 ga zasledimo v virih kot Novum forum (Novi trg), njegovo pomembnost pa izkazuje tudi listina, ki jo je 29. aprila 1365 izdal goriško-tirolski grof Albert, po kateri imajo prebivalci mesta iste pravice, kot so jih tedaj imeli kostanjeviški meščani. Proti koncu 14. stoletja je pokrajinsko ime (Metlika) nadomestilo staro krajevno ime (Novi trg), tako da se je tudi kraj sam pričel imenovati Metlika. Vendar sta bila tako Metlika kot Črnomelj dokončno, predvsem iz obrambnih razlogov proti Turkom, povišana v mesti v 15. stoletju. Kot znamenje mestnih pravic je mesto dobilo tudi grb: dva krokarja na mestnem stolpu, ki naj bi pomenila čuječnost pred turško nevarnostjo. V metliškem gradu je bil sedež po mestu imenovanih vitezov, ki so upravljali obsežno posest Goriških grofov. Njihovi ministeriali so v virih prisotni nekje do 1341, leta 1375 pa se kot metliški glavar v službi Habsburžanov že omenja Nikolaj Hmeljniški. V letih 1400 – 1401 se pojavlja Seifrid Gamberški, med 1423 in 1432 pa Janž Hohenwarter. Metliško grofijo so na podlagi medsebojne dedne pogodbe dobili s strani Habsburžanov v zastavo grofje Celjski, po njihovem izumrtju 1456 pa so jo ponovno prevzeli Habsburžani in jo zastavili Andreju Hohenwartu, ki jo je posedoval do 1470. Takrat jo je skupaj z glavarstvom za ugodnejšo posojilo prejel Pankrac Turjaški, leta 1492 ga je nasledil Žiga Pirš, njega pa po 1517 sin Janž. Od leta 1533 pa do 1556, ko je bil grad kot dotedanji sedež glavarja grofije Slovenske marke in Metlike skupaj z zemljiškim gospostvom podeljevan v zastavo, je bil zadnji znani glavar deželni komtur Nemškega viteškega reda Anton Erazem grof Thurn.
Po tem letu so imeli metliško gospostvo v zastavi hrvaški ban Peter Erdödy, za njim njegov sin, prav tako hrvaški ban Tomaž, nekje po letu 1621 pa sledijo bratje Peter, Gregor in Mihael Wazen. Zakupniki niso nikoli neposredno upravljali metliškega gospostva, temveč je to vršil v njihovem imenu uradnik, imenovan ambtman ob pomoči župne organizacije, kateri so načelovali župani posamičnih žup. Leta 1680 je Mihael Wazen gospostvo prodal grofici Korduli Paradeiser, ta pa kmalu zatem grofu Žigi Lichtenbergu, ki ga je že 1713 prodal zagrebškemu stolnemu kapitlju. V izogib stroškom obnove ob požaru leta 1790 ga je kapitelj 1792 prodal ljubljanskemu krčmarju Jožefu Savinšku. V lasti te ljubljanske meščanske družine je ostal do 1899, ko ga je kupila Ljudska posojilnica v Ljubljani, od nje pa 1903 Prva dolenjska posojilnica v Metliki. Od leta 1860 je v metliškem gradu delovalo okrajno sodišče, med 1931 in 1936 pa je bil v njem tudi sedež metliškega okraja. Za časa italijanske okupacije je bil v gradu Oddelek finančne kontrole Metlika, po kapitulaciji Italije pa sta v njem delovala sodišče belokranjskega okrožja ter oddelek oficirske šole glavnega štaba NOV in PO Slovenije. Po vojni so v grad naselili nižjo gimnazijo z dijaškim internatom, zemljiško knjigo, otroški vrtec, mladinski klub, ljudsko knjižnico, delno pa so ga namenili za stanovanja. Po 1951 so se grajski prostori pričeli postopoma prazniti in 1954 se je v grad naselil Belokranjski muzej, ki ga je 1963 dobil tudi v upravljanje, leta 1969 pa so v njem uredili še Slovenski gasilski muzej in 1981 Ganglovo razstavišče.
