Že kot dijak – četrtošolec je sodeloval s pesmijo in slikami pri dijaškem rokopisnem listu Izpod Gorjancev, kjer je bil pravzaprav glavni pesnik. Njegova prva pesem z naslovom Zimska je izšla v dijaškem listu Zora.
Pesmi in črtice je objavljal v revijah: Zvonček, Vrtec, Angelček, Domači prijatelj, Dom in svet. Pisal je tudi dnevnik. Njegovo dnevniško pričevanje o svetovni vojni velja za eno najbolj živih vojnih zgodb pri Slovencih. Večje število njegovih pesmi in odlomkov iz dnevnika je bilo objavljenih v listih in revijah: Vrtec, Trije labodje, Naprej, Odmevi, Modra ptica, Mladika. Tako kot v njegovih pesmih in črticah je njegova brezmejna ljubezen do domače zemlje prisotna tudi v njegovih risbah. Na njegovo likovno ustvarjanje je močno vplival profesor risanja na novomeški gimnaziji Josip Germ. Zapustil je veliko število risb in slik.
Žal je njegovo umetniško pot grobo končala vojna. Cvelbarjeve risbe in slike so zbrali in pokazali kmalu po končani vojni, in sicer na prvi pokrajinski umetniški razstavi v Novem mestu leta 1920. Leta 1938 je izšlo njegovo Izbrano delo, ki ga je uredil in napisal spremno besedo France Koblar, leta 1977 pa je ob 60-letnici pesnikove smrti nekaj njegovih najboljših pesmi zbral Janez Menart v pesniški zbirki Jože Cvelbar: Moji kraji.
Po Jožetu Cvelbarju, pesniku dolenjske pokrajine, a žal tudi pesniku vojne in smrti, se imenuje tudi ulica v Novem mestu.
