Krajevna skupnost Škofja Loka je imetje TVD Partizan leta 1983 brezplačno prenesla na Občino Škofja Loka. Ta je deset let kasneje na lokaciji stavbe Partizana želela urediti občinsko knjižnico. Hkrati so predstavniki Športne zveze Slovenije in TVD Partizan želeli na tem mestu prenoviti objekt za potrebe športa.
Knjižnica Ivana Tavčarja Škofja Loka si je od leta 1986 dalje intenzivno prizadevala rešiti svojo prostorsko problematiko, ker je Strokovni svet za knjižničarstvo RS takrat izdal ugotovitveni sklep o njenem le pogojnem priznavanju matičnosti, ker ne ustreza prostorskim normativom. V teh prizadevanjih je aktivno sodelovala tudi Občina Škofja Loka, predvsem njen Izvršni svet, kot ustanoviteljica knjižnice. Marca 1993 je bil pripravljen idejni projekt za knjižnico na lokaciji Sokolski dom na Mestnem trgu, ki ga je izdelal Atelje Mušič iz Ljubljane. Dela naj bi predvidoma potekala med leti 1994 in 1997. Novi prostori naj bi knjižnici omogočili normalen razvoj za nadaljnjih 20 let. Takratni ravnatelj knjižnice Ludvik Kaluža je na Ministrstvo za kulturo poslal prošnjo za 50% sofinanciranje projekta, s katerim bi pomagali rešiti prostorsko stisko loške knjižnice, hkrati pa oživiti spomeniško zaščiteno mestno jedro mesta.
Projekt je predvideval, da bi se celotni prostor med kinodvorano, prehodom med Žigonovo hišo do opornega zida, vključno z vrtom in Sokolskim domom podkletil, atrij pa v celoti pokril. Glavni dostop bi bil z Mestnega trga, dodaten vhod pa tudi s stopnišča v Peklu. Vrtova na Žigonovem vrtu in Sokolskem domu bi se ohranila, prav tako paviljon na vzhodni fasadi, ki bi se prav tako ohranila v celoti v obstoječem gabaritu. Urejena naj bi bila terasa, del objekta bi bil namenjen gostinski dejavnosti.
Nekaj članov Odbora za prenovo mestnega jedra Škofje Loke pri Izvršnem svetu občine je nasprotovalo projektu, ker jih je motila delno steklena streha in predvidena obnova vzhodne fasade. Izvršni svet občine je kasneje na svoji seji 27. 12. 1994 idejni projekt zavrnil.
