Stara železniška postaja v Šmarju pri Jelšah je bila zidana dvonadstropna stavba, ki je imela v pritličju pisarno ter restavracijo s kuhinjo, v prvem in drugem nadstropju pa stanovanji. Do sredine petdesetih let 20. stoletja je bilo v bližini postaje tudi zaklonišče (Rustja, 113).
Med drugo svetovno vojno so 5. novembra 1944 postajo napadla zavezniška letala in močno poškodovala tire, stavbo postaje pa spremenila v ruševine. V napadu je življenje izgubilo sedem domačinov (Šolska kronika OŠ Šmarje pri Jelšah 1873-1951).
Novo železniško postajo so pričeli graditi leta 1953, bila je skupni projekt Direkcije pošte, telegrafa in telefona ter železniške uprave. Slovesna otvoritev nove stavbe je bila 31. oktobra 1954.
