Leto 1965 je bilo prelomno. Zaradi ustanavljanja šolskih športnih društev in krožkov sta članstvo in dejavnost TVD Partizan začela usihati. Poleg tega so si najbolj dejavni člani ustvarili družine in pravega zagona v društvu ni bilo več. TVD Partizan je obe telovadnici s stranskimi prostori ter telovadno orodje odstopilo v brezplačen najem gimnaziji Škofja Loka in postalo najemnik v lastnih prostorih. Telovadnico sta pričeli uporabljati še OŠ Petra Kavčiča ter poklicna šola.
Društvo je od konca 60. let zaradi pomankanja kadrov in osamosvojitve več športnih sekcij v domu organiziralo predvsem splošno telesno vzgojo za različne starostne skupine. Šole so telovadnici v domu uporabljale v dopoldanskem času, društvo Partizan pa v popoldanskem in večernem času. Pogoji za vadbo so bili izredno slabi, skoraj neprimerni. Telovadnica je bila nezakurjena, stekla na oknih so bila razbita, sanitarije zanemarjene, brez tople vode. Društvo je izdelalo več načrtov za prenovo doma, a ti niso bili realizirani. Društvo Partizan je imelo večje krizno obdobje v letih 1966−1968. Njegova dejavnost je bila zaradi kadrovske krize praktično ukinjena za dve leti. Ob otvoritvi novozgrajene dvorane Poden leta 1980 je TVD Partizan svojo dejavnost preselilo v nove prostore. Ob selitvi se je izgubila večina društvenih dokumentov.
Loški gimnazijci so v mali telovadnici Partizana vadili gimnastiko in se razgibavali, v veliki telovadnici pa igrali odbojko in košarko.
Nekdanja dijakinja Gimnazije Škofja Loka je svoje manj prijetne spomine na telovadbo v Partizanu strnila v sledeče misli:
»V šestdesetih letih prejšnjega stoletja, ko sem obiskovala škofjeloško gimnazijo, smo gostovali v mogočni stavbi na Šolski ulici in nismo imeli telovadnice. Mladostniki, ki smo si vedoželjno nabirali znanje in poznali pregovor »zdrav duh v zdravem telesu«, smo večkrat na teden prečkali cesto skozi Škofjo Loko in se sprehodili čez Mestni trg proti Partizanu na uro telovadbe. »Telovadnica« se je skrivala med stavbami na levi strani trga. Stopali smo skozi temačen prehod, na levi so se že kazala velika okna manjšega prostora za orodno telovadbo, pred nami velika nerodna vrata, vhod v veliko telovadnico, na tleh razdrapan parket. Čakala so nas orodja za športno gimnastiko in igre z žogo in nekatere vozel v želodcu. Spomini so izmuzljivi, neprijetne pozabljamo hitreje: stiske mladostniške sramežljivosti, neusklajenost telesa z željami po gibanju, neprivlačni črni dresi, ki so vzbujali nelagodje in razkrivali skrivnosti odraščanja mladih teles … Spominjam se predvsem mladostne razigranosti in prijetnega klepeta s sošolkami in sošolci na poti tja in nazaj in seveda slikovitih pročelij loškega Placa v vseh letnih časih in vseh vremenih.«
Milena Kordež, ki je nastopila mesto profesorja športne vzgoje na Gimnaziji Škofja Loka leta 1978, pa se takole spominja telovadbe v Partizanu:
»Šola v tistem času ni imela svoje telovadnice. Dijaki so telovadili v telovadnici Partizana in že pot od šole v mesto in nazaj je bila del vadbe. Kljub dokaj slabim pogojem, še posebej slabe so bile garderobe, dijaki niso izostajali od pouka športne vzgoje.«
