V virih se grad prvič omenja leta 1338 kot die vesten (Medlich).
Grad so pozidali na najvišji točki utrjenega mesta. Enonadstropna stavba pravokotnega tlorisa je stala na skrajnem severnem vogalu mestnega obzidja, kar dokazuje njeno sočasno gradnjo z obzidjem. Z gradom so zavarovali najbolj izpostavljeno severozahodno stran mestnega obzidja, ki so ga še posebej zavarovali z umetno izkopanim, leta 1456 omenjenim suhim jarkom – graben vor der purgk, vendar je iz ohranjenih arhivskih virov mogoče sklepati, da je mesto dobilo obzidje že v goriški dobi, nekje do leta 1374. Grad so na južni strani od mesta ločili z visokim zapornim zidom, ki je še ohranjen v obodnih zidovih severnega, zahodnega in južnega trakta. Zid je oklepal grajsko dvorišče, znotraj katerega so stala tedaj verjetno še lesena gospodarska poslopja, z zunanje strani pa je bil očitno tudi na mestni strani zavarovan z obrambnim jarkom.
Kot najstarejši del grajske stavbne zasnove iz časa pozidave gradu se kaže stavba tlorisnih mer ok. 9 x 18 m s poldrugim metrom debelimi zidovi v severnem delu današnjega gradu. Pritličje te v osnovi srednjeveške stavbe zaseda danes v celoti Ganglovo razstavišče. Če je bila stavba s krajšo severovzhodno stranico vključena v mestno obzidje, pa je bila od njega z daljšim severozahodnim obodnim zidom, kot je razvidno iz Valvasorjeve upodobitve mesta iz leta 1679, odmaknjena za celih pet metrov. Sočasno z gradom so v severnem delu mestnega obzidja pozidali tudi dva utrjena stolpasta dvorca, v zahodnem delu pa stolp z mestnimi vrati in lesenim mostovžem, ki je premoščal obrambni jarek.
Protiturški utrdbeni posegi v 15. in 16. stoletju so obsegali izgradnjo zunanjega obzidja pred izpostavljeno severozahodno stranico mestnega obzidja, ki so jo še dodatno zavarovali z ohranjenim in kasneje prezidanim in v grajsko maso vkomponiranim okroglim stolpom na severnem vogalu, s čimer so ustvarili medzidje kot dodatni obrambni ukrep. S topniškimi linami opremljen in renesančno oblikovan okrogli stolp so postavili tudi na severovzhodni strani gradu, vendar danes o njem ni več sledu. V sklopu tedanjih gradbenih prizadevanj so k osnovni grajski stavbi prizidali tudi del današnjega severnega trakta.
Večje prezidave je grad Metlika ponovno doživel po velikem požaru leta 1705, ko so zgradili vse obstoječe grajske trakte, vključno z vhodnim stolpom, in jim na dvoriščni strani dozidali arkadne hodnike. To je bil tudi čas, ko so zasuli mestni obrambni jarek ter podrli medzidje, zahodni stolpasti dvor in mestna vrata. Podrli so tudi okrogli stolp vzhodnega mestnega obzidja, ki je stal v neposredni bližini gradu, in zraven njega postavili večji oglati stanovanjski stolp, v katerem danes domuje glasbena šola.
Naslednji večji obnovitveni posegi so bili prav tako posledica požara, ki je prizadel mesto in grad leta 1790. Izvajal jih je od 1792 novi lastnik gradu, ljubljanski krčmar Jožef Savinšek, ki je gradu dal današnji klasicistični značaj. Tedaj so tudi dokončno poenotili njegovo stavbno zasnovo, kot jo vidimo še danes, vendar očitno šele po 1825, saj na franciscejskem katastru iz tega leta severni del poznosrednjeveškega zahodnega medzidja s severozahodnim okroglim stolpom vred kot tudi jugozahodni vogal ostajata nepozidana. Na omenjenem katastru je pred vhodnim stolpom narisano tudi črtkano polje, ki bi lahko pomenilo oznako za leseni most, ki je prečil obrambni jarek pred gradom. Očitno so jarek na zahodni strani vsaj delno zasuli že v 18. stoletju, na vzhodni strani pa se je na tem mestu ohranila zelenica, ki je nivojsko precej nižja od vhoda v grad, kar pomeni, da so dostopno pot do gradu dokončno uredili šele po 1825, ko so porušili most, jarek v tem delu pregradili z opornim zidom in zahodni del jarka tudi dokončno zasuli. Zaradi opisanega posega je prišlo tudi do sicer nerazumljive nivojske razlike med platojem pred Slovenskim gasilskim muzejem in prostori v pritličju zahodnega trakta, v katerih sta danes poročna soba in gostinski lokal. Zunanji nivo tal je namreč precej višji od notranjega. Vsi kasnejši posegi od druge polovice 19. stoletja do pričetka druge svetovne vojne so bili zgolj utilitarne narave in so obsegali predvsem zapiranje arkadnih hodnikov bodisi z njihovo zazidavo bodisi z vgradnjo polkrožno zaključenih lesenih oken. Na dvorišču ob arkadnih hodnikih so pozidali tudi dva stopniščna prizidka. Tako je imelo poleg današnjega stopnišča v nadstropje lastni vhod v severni trakt okrajno sodišče in posebej zemljiška knjiga v vzhodni del nadstropja. Po končani drugi svetovni vojni, zlasti pa z vselitvijo Belokranjskega muzeja v grad, so stopniščne prizidke podrli, odprli arkadne hodnike, grajske prostore pa postopoma preuredili v razstavne in upravne prostore.
