Pod prezbiterijem spodnje malograjske kapele se nahaja kripta, ki je tako kot celotna kapela, verjetno nastala konec 12. ali v začetku 13. stoletja. Kripta nikoli ni bila namenjena pokopavanju mrtvih, ampak prvotno verjetno shranjevanju relikvij.
Kljub temu so sčasoma, poleg zgornje in spodnje, med kapele začeli prištevati tudi kripto. Tako o trojni kapeli na Malem gradu govori Janez Vajkard Valvasor (1641-1693), sredi 18. stoletja se kapela kot trojna omenja tudi v vizitacijskih zapisnikih goriškega nadškofa Attemsa, ko je navedeno tudi, da se vzdržuje iz darov oz. miloščine (per eleemosynas). Kapela je posvečena apostolu Petru.
Vhod vanjo se nahaja med severno steno in slavolokom spodnje kapele. Prostor osvetljujejo zelo globoko romansko okno, lepo vidno tudi od zunaj, v vdolbini katerega se na notranji strani nahaja kamnita polica, ki je nekoč služila kot oltarna miza. V kripto je mogoče pogledati skozi zamreženo okno, ki se nahaja v stopnicah, ki vodijo v prezbiterij spodnje kapele. V štirih vogalih kripte so kamnite konzole, na katere so nekoč najverjetneje postavljali svetilke, ki so prostor osvetljevale med bogoslužjem. Prostor je skoraj kvadratnega tlorisa, saj je dolg 2,78 m in širok 2,60 m.
Leta 1967 so pod vodstvom dr. Franceta Goloba v kripti potekala sondiranja, ki so razkrila baročne poslikave, pripisane Francu Jelovšku (1700-1764). Slikar si je zamislil iluzionistično slikarsko kompozicijo iz dveh delov: stene je poslikal z rastlinskimi motivi, na sredino banjastega stropa pa je naslikal Sv. Duha v podobi goloba, ki ga je obdal z angelskimi glavicami oz. putti, med katerimi so štirje sami, štirje pa v paru. V enem od puttov, ki se po starikavih obraznih potezah razlikuje od ostalih in se nahaja v paru neposredno nad romanskim oknom, naj bi se skrival avtorjev avtoportret.
Čeprav je prostor kripte majhen, je bilo ugotovljeno, da je v celoti poslikan in da površina fresk meri kar 29,89 m2. Freske so bile v 60. letih 20. stoletja odkrite v boljšem stanju kot so danes (2024). Angelske glavice so trenutno komaj vidne, podobo Sv. Duha na temenu stropa se bolj ko ne zgolj sluti, rastlinski motivi na stenah so ohranjeni fragmentarno in slabo. Stanje spomenika kliče k restavratorskemu posegu.
