Območje Žalca je bilo že zgodaj poseljeno. V srednjem veku se Žalec prvič omenja leta 1182 kot Sachsenfeld, v slovenski obliki pa že l. 1256, ko je bil povzdignjen v trg.
Razvoj trga so delno prekinili vpadi Turkov, ki so pustošili po Savinjski dolini, zlasti v letih 1471 in 1480, ko so trg tudi oplenili in požgali. Žalčani so se kasneje odločili, da okoli farne cerkve pozidajo taborsko obzidje.