Cerkvena stavba na vrhu gore je bila izrazito izpostavljena in tudi zato je doživela dve hudi preizkušnji. Obakrat je šlo za požar. Prvič je 4. maja 1837 ob 11. uri zvečer ogenj zanetila strela. Zgorela je kritina cerkvene ladje, prezbiterija in obeh zvonikov, vročina pa je bila tolikšna, da so se stopili tudi zvonovi. Janisch je zapisal: »… in ker je povzročala dostava gradbenega materiala na strm hrib neskončne težave, so vso opeko in ostali material do gradbišča na roke s pobožno požrtvovalnostjo znosili prebivalci okoliških trgov in vasi.«
V ohranjeni rokopisni kroniki župnije Sv. Andreja iz leta 1865 se župnik spominja, da so se pri obnovi po prvem požaru močno angažirali tudi občani Dobriča. Poskrbeli so za začasno pokritje cerkve, za stavbni les in z zastonj vožnjami ter hrano omogočili nemoteno delo tesarjev. Poseben problem je predstavljala voda, ki so jo na gradbišče kmetje vozili z voli.
Leta 1932 je zagorelo drugič. Požar je izbruhnil 4. julija zvečer, ko so se po vsesplošnem običaju kurili kresovi v čast slovanskih apostolov sv. Cirila in Metoda, katerih praznik je bil 5. julija. Kresovanje na Gori Oljki je bilo posebej priljubljeno, saj je bilo ogenj mogoče videti po vsej Savinjski in Šaleški dolini. Fantje so zakurili že v zgodnjih večernih urah in spočetka je bil ogenj docela obvladljiv. Kasneje pa so iskre (verjetno zaradi vetra) zanetile suhe skodle, s katerimi je bil zvonik pokrit. Kresovalci so okrog 10. ure zvečer pričeli biti plat zvona, da bi priklicali pomoč. Na voljo je bila zgolj voda v vodnjaku, s čimer se je ljudem posrečilo preprečiti požar na koru in obraniti pred uničenjem vsaj notranjščino. Toda v splošni paniki in v prepričanju, da bo zgorelo vse, so ljudje razdrli oltarje, znosili kipe in sploh vse dosegljive okraske v zakristijo, pri tem pa zaradi naglice in sile vse močno poškodovali.
Eden izmed kresovalcev, domačin iz Šmartnega ob Paki, se je vse do svoje smrti vračal na kraj požara in pripovedoval o tragičnem dogodku. Nenamernega požiga ni mogel preboleti in mu je za vse življenje obležal na duši.
