平凉历史悠久，境内现已发现旧石器时代遗址12处，除采集到石器外，还有人类头骨化石及相伴的牛、马、羊等动物化石，足以证明早在60万年前辖境内即有人类活动，从泾川县太平乡大岭上出土的旧石器早期先民生活的遗址可以断定距今30万年以前，平凉境内就有人类繁衍生息，距今5000年前，轩辕黄帝曾登临今平凉市崆峒山，问道于广成子。
辖境夏代时期为獯鬻戎狄居地，境内陇山以东为獯鬻居地，以西为昆夷居地，商末境内东南部有密、阮、共等方国先后建立，西周时期辖境属周人和狈狁之地，西周初，密、阮、共等方国归顺周，周文王筑灵台于今灵台县境。
平凉先后用过乌氏、安定、月支、都卢、渭州等名称，但沿用时间最久的，还是平凉之名。平凉素有“陇上旱码头”之称，是古“丝绸之路”必经重镇，史称“西出长安第一城”。
平凉古为屏障三秦、控驭五原的重镇，是“兵家必争之地”和陇东传统的商品集散地，中原通往西域和古丝绸之路北线东端的交通和军事要冲，不仅是西北地区的公路枢纽，而且是欧亚大陆桥第二通道的重要中转站。
1964年6月5日，平凉市改为平凉县，1969年10月1日，改专区为地区。
2002年6月，撤销平凉地区和县级平凉市，设正地级平凉市和县级崆峒区。
