Najkasneje od sredine 17. stol. je na vrhu hriba stal križ, vsaj od leta 1753 pa tudi lesena kapela s kipoma sv. Jošta in sv. Neže. V letih od 1754 do 1773 so na vrhu hriba v baročnem slogu zgradili cerkev sv. Križa. Pročelje, ki gleda proti jugu, je široko 21 m, ostali del zgradbe pa se razteza v dolžini 32 m proti severu. Zvonika, ki na južni strani obrobljata pročelje, sta visoka 38 m. Pod cerkvijo leži podzemno svetišče kvadratne oblike s stranicama 8 x 8 m, do njega pa vodita dva enaka hodnika, dolga 11.30 m. Cerkev je kot romarska točka doživljala burno zgodovino, med drugim jo je dvakrat prizadel požar: maja 1837 in julija 1932. Sedanji zvonovi so jekleni in so delo Kranjske industrijske družbe iz leta 1924.
Bivšo mežnarijo pod cerkvijo so leta 1963 preuredili v planinski dom in ga kasneje večkrat prenovili.

Markantna lega in hkrati dostopnost z vseh strani sta Goro Oljko ljudem približala že zelo zgodaj in tudi danes jo preplet verskega, planinsko-družabnega in turistično-kulturnega dogajanja določa kot prostor, ki ni nikoli osamljen.