秦以前，李集周围方圆百里尽为湖泽，秦时因开挖“潼河”泄洪，始称“潼泽”，西汉时改为“潼滤”，安史之乱时，山西曲沃人迁陡至此，且王姓人众，于唐乾元三年更名为“王集”。元初经商潘姓势力渐盛，改称“潘王集”。明嘉靖年间，山西洪洞县李氏三兄弟携巨资至此经商发家成旺族，遂改为“大李集”并延用至今。民国17年（1928年）改称三山市。商业活动盛极一时，扬名南北，素有“小上海”、“小南京”之誉。民国33年前后，泗灵睢县抗日民主政府建置李集区、李集市。1949年仍为李集区，1957年撤区并乡为李集乡。1958年改为李集人民公社，1983年复称李集乡，1987年改为李集镇。
相传明朝嘉靖年间（公元1521——1566年），山西洪洞县大族李大仙三兄弟，因避战祸流徙到此。在此之前这个地方叫潘王集，主要是潘、王两大家，他们有钱有势，无所不为。姓李的来到后，散财货，结豪强，扩建了集西的李家圩，又乐于行善，对些要饭花子给吃给喝，帮助乡民安居乐业，在百姓中威望渐渐提高，势力和地盘也渐渐扩大，随之，人们就开始称呼李家集了。
为了争夺集名和市面，三家明争暗斗，姓王的和姓潘的联合起来对付姓李的，以便继续维护“潘王”集名，保护自己的财势。
当时姓王的便准备了些银两和土特产来到姓潘家里密谋，要姓潘的到县里打点打点。这天晚上，天漆黑一团，姓潘的一行人刚出集镇几里，见路旁的坟堆边闪动着不少青面獠牙的小鬼，而且都在唠叨着“明天赶李集”、“明天赶李集”，几个人不禁心惊胆战，再往前走，仍然是如此，一连走了十几里路都是小鬼们说着“赶李集”。姓潘的人一想，连小鬼都承认是李集，我们还告、还送有什么用？这是天意。便吓得屁滚尿流地跑回家了。原来，这是姓李的派人装扮成鬼，先从心理上攻破对方。
姓王的倒不以为然，他们觉得天下哪里有鬼，这事关今后子孙万代，怎可不争？便又依着势力和钱财，到县里打官司。幸好县官还算不是糊涂，于是第二天穿着青衣青帽，前往当时街市进行微服私访。
这一天风和日丽，正是一年一度阴历正月初九地庵庙会，由于这是李集镇最大的庙会，盛况空前。离集镇十余里的路上都是赶庙会的人，有的是挑担做生意的商人，有的是坐车骑马的公子、老爷，而更多的还是要饭的穷人和治病求神的贫困百姓。县令一路问人：“大家到何处去？”都说：“咱们赶大李集的庙会，怎么你还不知道？”说赶“潘王集”的仅十有一、二，而且那些有钱人对这位穿便衣的县官理也不理。这样一来，县官在心里有了谱。
后来县官到了庙会上，又问大家：“你们知道这是潘王集还是大李集？”“是大李集”，叫大李集的喊声响成一片。潘、王两家哪里知道是姓李的已经拢络了“花头”（要饭的领头人）来带头干的，故而拥护叫大李集的喊声响成一片。
于是县官在衙役们的引领下，走向庙会搭的戏台，当场宣布：“根据民心民意，此地集市就叫‘大李集’吧。”台下呼声一片，拍手叫好。
后来姓潘的迁走了很远很远，姓王的被迫住在李集镇的四周，以待时机，从四面围攻。故此有了李集镇而无姓潘的村庄，只有围绕四周的一里王、二里王、三里王、四里王、五里王、王点、王址、王铺、王柳圩等王姓村庄。
李集在清朝中后期，随着集市贸易的不断繁荣昌盛，睢人又称之为大李集并美誉为小南京，成为人们追求美好生活的憧憬之地。有一首民谣就是人们想往大李集的真实写照：“小红孩，挎竹篮。挎的什么？挎的红鸡蛋哩！你怎么不吃呢？没有柴火烧啊！你不能爬树折吗？怕戳毁大红袄哩！不能叫你媳妇补吗？媳妇死啦。死在哪儿啦？死在锅门前啦。埋在哪儿啦？埋在山后坡啦。黑牛角黄牛角，一直哭到太阳落。黑牛蹄黄牛蹄，一直哭到大李集。”
