Ignacij Orožen je zapisal, da je gubernij 14. februarja 1788 izdal odločbo o zaprtju cerkve, 21. marca je odločba z istega nivoja odpustila tudi duhovnika, ki je skrbel za že zaprto cerkev. Romarski razcvet na Gori Oljki je doživel težak udarec in razprodaja se je začela:
Romarstvo na Gori Oljki sicer nikoli več ni doseglo tistega razmaha in žara, kot ga je imelo v drugi polovici 18. stoletja, toda intime okoliških ljudi, predvsem tistih, ki so cerkev gradili, varovali in obnavljali, ni mogel zatreti noben odlok. Skrbniki so se menjali (župniji Sv. Andreja in Sv. Marjete ter gospoščina Šenek), objekt sam je doživljal vzpone in padce, toda popotniki so prihajali, prinašali s sabo svoje težave, želje in zahvale ter cerkvi ohranjali življenje.
Živahno ustno izročilo še vedno ohranja spomin na dramatične dogodke ob zaprtju cerkve, prenašanju lastništva, prodaji cerkvenega premoženja in odstranitvi relikvije sv. Teodorja. Medtem ko je na literarni način prenašanje gorooljskega svetnika sv. Teodorja (v zgodbi imenovanega sv. Deodata) nekoliko satirično obdelal savinjski pisatelj Janko Kač, je ena od šentandraških variant ustnega izročila sledeča: svetnik na Gori Oljki naj bi bil sv. Izidor (ljudska priredba manj znanega sv. Teodorja) in njegovo truplo so sklenili ob zaprtju cerkve pokopati na šentandraškem pokopališču. V istem času pa so pokopavali tudi znanega okoliškega kmeta in ko so polzelski predstavniki prišli po svetnikovo truplo, so v burnem dogajanju, ki je sledilo, po pomoti vzeli kmeta. Tako je kljub temu, da je cerkev pripadla polzelski fari, Šentandražanom še danes v tolažbo, da je na njihovem pokopališču pokopan sv. Izidor, Polzelani pa v zmotni veri namesto svetnika hranijo kmeta. Zgodba je seveda le izrastek bujne ljudske fantazije, saj relikvija, shranjena v stekleni krsti pod stranskim oltarjem cerkve Sv. Marjete na Polzeli, prepriča tudi največje dvomljivce.
