Caf je v Mariboru ostal do leta 1860. Takrat pa se začne njegovo romanje, ki mu je prineslo veliko skrbi in neprestanih razočaranj. Po nekaterih neuspešnih poskusih, da bi dobil primerno službo, mu je Slomšek ponudil mesto beneficiata v minoritskem samostanu, obenem pa ga je imenoval tudi za svojega duhovnega svetovalca. Caf je ponujeno sprejel in ponovno se je lahko posvetil znanstvenemu delu (Šrimpf 1972: 512). V ptujskem obdobju zasledimo tudi navedbo o njegovem pedagoškem delu, nekaj časa je namreč poučeval slovenščino na hajdinski in ptujski šoli (Bojc, 1969: 228, 239).
Caf je delal neprestano, ob duhovniških opravilih je ves svoj čas namenjal znanstvenemu raziskovanju. Karel Glaser, profesor na ptujski realni gimnaziji, ki se je z njim veliko družil, ga je tako opisal: »Spoznal sem na njem moža, kateri je z velikansko marljivostjo in izrednimi znanostmi v slovanskem in indoevropskem jezikoslovju jedinil redko čednost in blago mišljenje, na kako se nisem nameril svoje žive dni« (Flegerič, 1903: 279).
Zadnja leta Cafovega življenja so pravzaprav zavita v mrak. Njegovi biografi omenjajo, da se je vedno bolj umikal v samoto, njegova blaga osebnost je postajala zmeraj bolj občutljiva, prizadela ga je vsaka kritika. Zanesljivo je, da se tudi na Ptuju ni počutil dobro. Sklenil je pustiti službo in se preseliti nazaj v rojstni kraj (Raič, 1878: 87). V maju 1874 ga je na Ptuju še zadnjič obiskal prijatelj Božidar Raič. Caf je običajno Raiču prebral katerega izmed svojih novih spisov, tokrat pa mu je žalostno priznal: »Danes ti nimam pokazati nikakršnih uspehov; slabo mi je, spanja pogrešam, dušne prožnosti nimam več; slutim, da me v kratkem ne bode več«. Prijateljeva tolažba in bodrilne besede niso zalegle, preden sta se poslovila, je Raiču pokazal omaro z njegovimi spisi: »Tu so moji spisi! Kadar me ne bode več, glej, da jih hitro rešiš!« (Raič, 1878: 86).
Razloge o tem, zakaj ga je mesto utesnjevalo, Šrimpf najde v tem, da ga okolica, v kateri je živel, gotovo ni mogla razumeti. Caf je bil namreč kljub duhovniškemu poklicu v prvi vrsti znanstvenik, jezikoslovec. Zato je razumljivo, da so ga duhovniški sobratje gledali po strani. Od njega so pričakovali, tako kot duhovniška oblast, da bo njim enak duhovnik. Cafa je zadelo na stara leta še posebno neprijetno vprašanje – denar. Nekaj ga je imel prihranjenega, vendar ne dovolj. Računal je in mislil, da se bo v pokoju naposled izključno posvetil jezikoslovni znanosti, ki jo je tako goreče ljubil vse življenje. Vedno razpet med duhovniškim poklicem, ki mu je bil vsiljen, ter med knjigami, ki so mu dajale največ, je pričakoval, da se bo v jeseni življenja lahko popolnoma posvetil študiju lingvistike in morda vendarle izdal tudi svoje življenjsko delo – slovar slovenskega jezika.
V Ptuju je Cafa obdajala docela neuka okolica duhovniških sobratov, ki so si prizadevali, da bi mu grenili življenje na vsakem koraku. Očitali so mu, da ima naročen Slovenski narod, tako dolgo, dokler ga ni odpovedal, samo da bi imel mir pred njimi. Naposled so po Ptuju in menda tudi po Mariboru raznesli vest, da je Caf – duševno bolan. Bilo je res, da je bil nenavaden, občutljiv, lahko da je bil tudi bolan – nikakor pa ni bil blazen, čeprav je bilo jasno, da se je vanj zasekala misel, da ga preganjajo in da ga hočejo uničiti. Cafove duševne bolečine so se vedno bolj množile in so dosegle višek, ko so njegovi predpostavljeni sklenili, da ga 3. julija 1974 pošljejo v umobolnico v Gradcu, kar ga je privedlo do skrajnega dejanja, svoje življenje je končal s samomorom z ustrelitvijo. O tem dogodku nam je ohranil pričevanje Karel Glaser, ki ga je obiskal prav ta dan, ko so ga hoteli odpeljati najprej v Maribor, zatem pa v Gradec. Caf mu je povedal o njihovi nameri in je privolil, vendar je želel, da bi ga spremljal prof. Glaser. Pred tem je hotel ostati sam in se posvetiti molitvi, odslovil je tudi strežnika, nato pa se je iz njegove sobe zaslišal pok (Šrimpf, 1972: 512–513).
