平遥古城的历史，始于西周。关于建城的最早记载，见于历代《平遥县志》建置志。

据康熙四十六年《重修平遥县志》记载：“旧城狭小，东西二面俱低，周宣王时，尹吉甫北伐𤞤狁，驻兵于此，筑西北二面。 ”尹吉甫是西周宣王时期的大将，曾率军北伐北方游牧民族𤞤狁，在平遥一带驻兵时修筑了城垣的西北两面。同版县志又载：“卿士尹吉甫，江阳人，周宣王拜大将，北征玁狁，时曾次师平遥，增城筑垒，设兵以御北寇，遂殁于斯。今台遗迹，上东门城北隅高真庙所坐基。”这是平遥建城之始，距今已有2700余年。明代以后，人们在城内修建了尹吉甫庙（又称卿士庙），以纪念这位平遥古城的缔造者。

平遥城墙的第二次重大建设，发生在明代洪武三年（公元1370年）。县志载：“明洪武三年重筑。周围十二里八分四厘，崇三丈二尺，濠深广各一丈，门六座，东西各二，南北各一。 ”这次大规模扩建，将原有的夯土城墙改建为砖石结构，奠定了今日平遥古城的格局。

此后，历代知县不断修缮加固。景泰初年，知县萧重曾予修葺。正德四年（1509年），知县田登修建了下东门瓮城。嘉靖年间，城墙多次修葺：十三年因河水冲毁城角而修补，十九年由举人雷洁、监生任良翰督率筑完；三十一年知县沈振修西北二面；四十一年知县张稽古因边患急迫，砌砖墙、更新门楼。隆庆三年（1569年），知县岳维华增建敌台楼九十四座，俱用砖砌，并在六门外创吊桥。万历三年（1575年），知县孟一脉用砖石包城四面，比以往更加坚固。至万历二十二年（1594年），知县周之度修筑东西瓮城，皆以砖石砌筑，“自是金汤巩固，保障万年矣”。

康熙年间，城墙多次补修。康熙二十三年，知县黄汝钰捐俸修补；三十五年至四十五年，历任知县王杰、王绶持续补修各处城墙及城楼。康熙四十二年（1703年），康熙皇帝西巡经过平遥，建修了四面大城楼。四十五年（1706年），知县王绶沿城植槐柳。

道光三十年（1850年），知县刘叙蒞任，预防太平天国北伐，邀集董事诸绅捐资重修城墙。此次重修，南门加高数尺，四隅敌楼加高加广，环城挑濠并砌石桥七道。咸丰六年（1856年）冬竣工，工程费用达十二万缗。同治六年（1867年），六城上增建炮台各一座，每置大炮三尊。

一座平遥城墙，从西周尹吉甫筑城到明清不断修缮，两千余年的建设史尽在其中。