灵璧石产地灵璧县，汉为 、夏丘等县地，属沛郡。后汉属沛国、下邳国（今江苏徐州沛县、邳州市）。北周改夏丘为晋陵县，隋复名夏丘，司下邳郡。唐省夏丘县入虹县，属宿州。《宋史·地理志》：元右元年（1086）析虹县之零壁镇置零壁县，政和七年（1117）改零壁为灵壁。元属归德府宿州。明清属凤阳府宿州。灵璧，除《明史》外，各史均作“灵壁”。如《史记·项羽本记》：项羽大破汉军，“追击至灵壁东”。《清史稿·地理志》：灵璧县“本虹县灵璧镇，宋始置县”。乾隆《灵璧县志》：旧名“零壁”，因县产磬石而“神之”，改名为“灵璧”。《名胜志》亦载，灵壁县产磬石“珍之如璧”，故名。
灵璧建县，有所反复。《宋史·地理志》：元右元年（1086）始置零壁县，当年七月即废去。元右七年（1092）再拟建县之际，苏轼曾持异议，事见《苏东坡集·奏议集》。当时苏轼新任兵部尚书，建立新县属“兵部所管”。苏轼视察宿州，得悉“乞改零壁镇为县”，乃是“本镇豪民靳琮等私自为计”，并以自筹置县费用，毋须拨支公款为由，取得朝廷批准。但所谓“自备钱物”，其实是向百姓摊派，“深为不便”。预计建县“用钱四千五十余贯”，只征收半数稍多，“其余未纳钱数”难以催纳。“纵使尽行催纳”，也不够实际开支。如今县署已兴工构筑，“恐维中辍”。为此，苏轼建议：停建宿州外城，从一万贯建城经费中拨出款项，用于灵壁建县，不再向百姓征收钱物，“未纳到钱数”，均予“放免”。由此可见，苏轼办事公正，颇能体恤民间疾苦。
灵璧县旧城久圮，明弘治八年（1495）始筑土城。正德六年（1511）重建，周围六里许，开四门：东鹿鸣门；南对怀远荆山，名为望荆门；西有凤凰山，名为凤仪门，北向磬石山，名为来璧门。县城北倚龙车山，山麓有浏清、坛西，白莲等湖。龙车山东北三注山，有云洞、蜘蛛洞 。凤凰山在城西北五里。鹿鸣山今司泗县。山均低矮，是平原丘陵。
灵壁东北有潼河，潼河北岸有潼郡，因北魏临潼郡故城而名。潼郡是否即秦汉取虑县故城，前人有争议。《方舆纪要》：“取虑城，（虹）县北百二十里，汉县，属沛郡”，“后魏（即北魏）亦日取虑县，置临潼郡。”这是说，临潼郡治即取虑县城城。乾隆《江南通志》以为非是，在《辨讹》中指出：“旧志谓取虑汉县，后魏置临潼郡，”“在虹县（今泗县）北一百二十里。”“按：虹县北六十里睢宁县（今属江苏），取虑既在虹县北一百二十里，尚得谓虹县地乎？”“又按：临潼故城在今灵壁县东北七十里。金志元光初，议于灵壁县潼城镇设仓都监，是也。而取虑又在临潼东北，属睢宁界。”此说以为取虑县故城不在泗县，更不在灵璧。唐人李贤等注《后传书》，也以为取虑故城在睢宁。《后汉书·陶谦传》：曹操与陶谦作战，“过拔取虑”。注：“取虑，音秋闾，属下邳郡，故城在今泗州下邳县西南。”下邳县故城在今江苏邳县东，其西南即是睢宁县境。
旧时灵璧县境南北狭长，北界抵黄河故道，南界在淮河之滨，包括今固镇县地，与怀远县接壤。城北六十里有睢水 东流，俗称小河，是项羽大败汉军处。《水经·睢水注》：“睢水又东迳彭城郡之灵壁东，东南流。项羽败汉王于灵壁东，即此处也。”
《通鉴纪事本未·高帝灭楚》：汉高祖三年（前204），刘邦占领彭城，项羽率精兵三万来战，“大破汉军”，汉卒淹死于谷水、泗水者“十万余人”。楚军“又迫击至灵壁东睢水上”，汉兵“十余万人皆入睢水，水为之不流”。刘邦陷入重围，幸而大风骤起，飞沙走石，才“与数十骑遁去”。县志记载传说：刘邦见楚军追来，藏匿于枯井，坐骑隐入于山洞。追兵过后，坐骑将缰绳垂入枯井，救出刘邦。后人称此井为“垂缰井”，在灵壁城北七十里。五河县也有类似传说。楚汉战场“灵壁”，不是今灵璧县城，而是另一地名。《元和郡县志》在宿州苻离县下注：“灵壁故城，在（苻离）县东北九十里。”苻离县故城在今宿城北苻离集。今灵璧县城在苻离集东偏南，而不在东北。光绪《宿州志》：“宋元右时复置于宿州之东者，乃今之灵壁县，非古地灵壁也”。灵璧县城近汴水，古灵壁则近睢水。
《灵璧县志》：城西北七十里三村集有霸王城，是项羽军垒，附近有“吹箫台”，又名“散楚台”。汉高祖五年（前202），距项羽大破汉军、刘邦落荒逃遁仅两年，形势急转直下，霸王被围于垓下，闻“四面楚歌”，以为刘邦已尽得楚地，大势已去，悲歌泣下，突围逃奔，全军覆没。但垓下决战，主战场不在灵璧县城西北七十里，而在灵璧县东南地区。垓下聚在汉 县，古 水（今沱河）之滨，即今固镇县濠城集。县志所记“散楚台”，属于传说；若有所依据，只能是外围战场。
灵城城东十五里，与泗县接界外有虞姬墓，至今墓碑尚存，额刻“巾帼千秋”四字。旧有联语：“虞兮奈何，自古红颜多薄命；姬耶安在，独留青冢向黄昏。”此墓出自“霸王别姬”故事。项羽军壁垓下，陷入重围，“兵少粮尽”，忧心忡忡，夜饭帐中，面对美人虞姬、骏马乌雅，慷慨悲歌：
力拔山兮气盖世，时不利兮骓不逝；骓不逝兮可奈何，虞兮虞兮奈若何！
项王歌罢而泣，虞姬歌而和之。“左右皆泣，莫能仰视”。《史记正记》引《楚汉春秋》所载虞姬歌词：
汉兵已略地，田方楚歌声。大王意气尽，贱妾何聊生！
虞姬歌罢，拔剑自刎；项羽突围，仓惶南走。成语“拔山盖世”、“霸王别姬”、“四面楚歌”均由此而来。虞姬墓不止一处。《史记正义》引《括地志》：“虞姬在濠州定远县东六十里，长老传云项羽美人冢也。”定远虞姬墓，又称嗟虞墩。北宋熙宁四年（1071），苏轼赴杭州就任通判，途中作《濠州七绝》，其一为《虞姬墓》：
帐下佳人拭泗痕，门前壮士气如云。仓黄不负君王意，只有虞姬与郑君。
苏轼之诗作于濠州定远。郑君，指项羽忠臣郑荣，被汉军俘获而坚贞不屈。刘邦欲考察被俘楚臣是否恋旧主，均令改名为“籍”（项羽又名项籍），唯独郑荣拒绝，因此被逐。苏轼之北苏辙，亦有《虞姬墓》诗，记咏黥布叛楚投汉，范增受项羽疑忌而离去，霸王成为孤家寡人，只有虞姬与之共患难：
布叛增亡国已空，摧残羽翮自今穷。艰难独与虞姬共，谁使西来敌沛公？
灵璧虞姬墓，有南宋诗人范成大题咏，范成大出使金国，途经泗州、宿州，有诗多首，其一为《虞姬墓》，诗人自 注：墓“在虹县（今泗县）下马铺北三十七里”，即今灵壁虞姬墓。诗云：
刘项家人总可怜，英雄无策庇婵娟。戚姬葬处君知否？不及虞兮有墓田。
