大别山名称源于我国第一部地理著作尚书禹贡。在书中两次提到打别即大别山，第一段是，导嶓冢，至于荆山，内方，至于大别。
第二段是，嶓门冢导漾，东流为汉，又东，为沧浪之水，过三澨至于大别，南入于江。
第一种说法是来自于神话，带有浓厚的神话色彩，据说在洪荒年代，天地浑然一体，亿万生灵被挤压在暗淡的天地之间，后来有一座山突然大声的升起，用它的脊柱把苍天高高撑起，从此有了天地之分，万物生灵也得以看到光明。因为这座山分出了天和地，分出了白天和晚上，使天地有了区别，便给这座山取名为大别山。
第二种说法是来自于地缘学界，根据地缘文化专家考证，如今的大别山所在地在远古的年代曾是一片汪洋，大概２０亿年前，因为地壳运动，地上开始拱起，才逐步形成了如今的大别山。大别山脉与西部的秦岭横亘于我国中部，连绵千余公里，是我国南北水系的分水岭。因为它分开了长江、淮河两大水系，也分开了吴国、楚国两地，然后使得南北两地的气候环境和习俗截然不同，所以叫做大别山。
