Silvo Karo se je rodil v majhni vasici nedaleč od Domžal, na Brdu pri Ihanu. Bil je drugi od štirih otrok in je že od mladih nog večino svojega časa preživel v naravi. Njegov oče Maks je bil zaposlen, mati Helena pa je obdelovala polja, skrbela za dom in manjšo kmetijo in vsi otroci so ji pri tem pomagali. Silvo Karo v svoji knjigi piše: »Kdor je navajen trdo delati, bo gotovo dober plezalec.«
Mati Helena je izhajala z Zalokarjeve domačije na Brdu pri Ihanu, oče Maks pa se je k domačiji priženil iz Srednjega Okroga nad Špitaličem v občini Kamnik. Ta zaselek je premogel le tri hiše in po domače se je reklo pr’ Karl. V družini pod obronki Menine planine je bilo trinajst otrok, ki so se rodili očetu Antonu in mami Neži.
Silvo Karo v knjigi Alpinist opisuje precej tragično družinsko ozadje obeh družin, saj so obe družini zaznamovali druga svetovna vojna, vpoklici v nemško vojsko, smrti sorodnikov v koncentracijskih taboriščih, pod streli likvidatorja in nemškimi kroglami. Zaznamovana z drugo svetovno vojno, trdim delom za preživetje in v skromnosti sta mati in oče Silva Kara začenjala novo življenje na Zalokarjevi domačiji.
Silvo je imel dva brata in sestro. Za morje in dopust ni bilo nikoli časa, morje je prvič zagledal na končnem izletu po osnovni šoli. Vodovod so si napeljali sami iz bližnjega studenca, kamor so prej hodili po vodo in kjer so tudi prali obleke. Konec sedemdesetih so dobili pralni stroj, za televizijo pa ni bilo nikoli dovolj denarja, saj ni bila nujno potrebna. Prav zaradi tega je Silvo odraščal v naravi in z njo. Dobro je poznal gozdove, njive in travnike, kmalu pa je dobil v roke tudi kmečko orodje. Traktorja niso imeli, niti konja ne, orali so z volom, ki ga je oče vedno kupil v domačem Okrogu pod Menino planino in ga peš prignal na ihansko stran. Če ni šlo z enim volom, so si sposodili še sosedovega. Včasih je bilo samoumevno, da so si na vasi sosedi ves čas pomagali med seboj. Posebno otroci so bili koristni pri mlačvi, skoraj vsak dan pri drugi hiši, v glavnem nekje na skednjih, kjer so tlačili slamo. Kljub skromni kmetiji so imeli veliko svojega živeža in v ihansko trgovino so hodili poredko, kadar so potrebovali kvas, sol, sladkor in olje. Pšenico je Silvo pogosto s kolesom vozil v mlin v Selo pri Ihanu. Doma so imeli vedno dovolj mleka, dostikrat so pili kar sveže namolzenega. Pogosto so jedli kislo mleko, ki mu je mama prej pobrala za prst debelo smetano in jo prihranila za kakšen priboljšek. Na jedilniku je bil pogosto krompir, Silvo pa je imel najraje ajdove in koruzne žgance. Za vso kmečko hrano so bili osnova ocvirki, ki so jih pozimi dobili od dveh prašičev. Imeli so še štiri krave in kokoši, za več pa ni bilo zemlje. Sladkarij je bilo malo, tu in tam kakšen bombon ali puding.
Z bratom Maksom sta vsako poletje preživela pri sorodnikih pod Menino planino, a tudi tam je bilo treba delati. Osnovno šolo je začel v Ihanu, do nje je imel slaba dva kilometra hoje. Ihan je bil nekdaj kraj, ki je slovel po eni najmodernejših prašičjih farm na svetu. Tehnološki napredek in obsežnost farme je leta 1963 Tito razkazal Nikiti Sergejeviču Hruščovu in takrat so dobili tudi asfaltno cesto do Ihana oziroma do prašičje farme.
Silvu v šoli ni steklo, bolj mu je dišalo delo. Najslabše mu je šlo pri angleščini in slovenščini. V Ihanu so imeli samo štiri razrede osnovne šole, nadaljevanje je bilo v Domžalah, kamor se je vozil s kolesom ali šolskim avtobusom.Kmalu je Silvo spoznal, da bo treba zaslužiti denar, saj ga doma ni bilo, pa še novo hišo so gradili. Zato je začel pomagati tesarju Jožetu Glaviču, ki je imel žago za obžagovanje lesa. Kmalu je delal že na strehah in ugotovil, da se z lahkoto giblje po ozkem tramovju. Najraje je imel najbolj kočljiva dela, kot je polaganje prvega špirovca. Tako si je Silvo z deli na višini že nabiral kondicijo in izkušnje za kasnejše alpinistične podvige. Z delom na strehah, med drugim na ihanski cerkvi, je pridobil izreden občutek za ravnotežje.
Ko se je bilo treba leta 1976 odločiti za poklic, se je odločil za električarja. Z mamo sta šla v tovarno Mlinostroj, kjer je podpisal vajeniško pogodbo. Imeli so pol leta šole, pol leta prakse. Po polovici leta v tovarni je šel v Ljubljano na Center strokovnih šol, kjer mu je steklo lažje in bolje kot v osnovni šoli.
