Rakov hotel je bila prvotno Bizjakova stara gostilna, gostilničarka je bila Vajdetova, njena hči Mici pa se je poročila s Vervegovim sinom Jožefom Rakom. Leta 1841 so zgradbo prezidali v nadstropno hišo z gospodarsko dejavnostjo v pritličju in stanovanjem v nadstropju, o čemer priča letnica 1841 na kamnitem portalu – iz zelenega kamna in z vrezanima levoma na vsaki strani.
Za Jožefom je gostilno prevzel njegov sin Ivan Rak in nato premoženje zapustil otrokom Marjani, Edvardu in Marti. Rakovi so bili veleposestniki, poleg hotela so imeli tudi kolodvorsko restavracijo, mlin, žago in mesnico. Leta 1874 se je šola iz stare stavbe starega župnišča v Šmartnem začasno prestavila v trg, kjer so deklice obiskovale pouk v začasni učilnici v Rakovem hotelu. Po prvi svetovni vojni je nekdanjo Rakovo (Bizjakovo) mesnico in klavnico imel v najemu Jože Pibernik, tretjo velenjsko mesnico pa je po prvi svetovni vojni odprl Edvard Rak v Kolodvorski restavraciji. Hotelir Jožef Rak je bil velenjski župan in načelnik okrajnega zastopstva. Leta 1867 je kot slovenski kandidat za slovenjegraško okrožje sodeloval na volitvah v deželni zbor, se uvrstil v drugi krog in zmagal. V deželnem zboru je bil skupaj z rojakom Josipom Vošnjakom eden najnaprednejših Slovencev, vstopil je tudi v slovenski poslanski klub, kjer je deloval kot liberalen politik. Ivan Rak je imel do konca 1. sv. Vojne svojo kovaško delavnico, ki pa je obratovala izključno za njegove potrebe. Njegovega kovača so klicali »Rajdibajdi«, bil je strah in trepet velenjskih otrok, saj so morali zmeraj bežati pred njim.
