《黄帝内经》中认为五谷即“粳米、小豆、麦、大豆、黄黍”，而在《孟子滕文公》中称五谷为“稻、黍、稷、麦、菽”，在佛教祭祀时又称五谷为“大麦、小麦、稻、小豆、胡麻”，再而后便是李时珍在《本草纲目》中记载谷类有33种，豆类有14种，总共47种之多。
现在通常说的五谷杂粮，是指稻谷、麦子、大豆、玉米、薯类，而习惯地将米和面粉以外的粮食称作杂粮，所以五谷杂粮也泛指粮食作物。故通常认为，五谷是粮食作物的统称。
“五谷”这一名词的最早记录，见于《论语》。根据《论语》的记载：二千四百多年以前，孔子带着学生出门远行，子路掉队在后面，遇见一位用杖挑着竹筐的老农，问他：“你看见夫子吗？”老农说：“四肢不劳动，五谷分不清，谁是夫子？”
五谷的意思是指五种谷。比《论语》更古的书如《诗经》、《书经》等里面，只有“百谷”，没有说“五谷”的。从百谷到五谷，是不是粮食作物的种类减少了呢？不是的。当初人们往往把一种作物的几种不同品种一个个起上一个专名，这样列举起来就多了。而且“百”字在这里不过是用来指多的意思，也并不是真有一百种。五谷这一名词的出现，标志着人们已经有了比较清楚的分类概念，同时反映当时的主要粮食作物有五种。
“五谷”之说出现于春秋、战国时期，《论语·微子》：“四体不勤，五谷不分”。但解释却有不同，一说是黍、稷、麦、菽、稻；一说是黍、稷、麦、菽、麻。这二种说法的主要区别在于稻麻的有无，之所以出现分歧，是因为当时的作物并不止于五种，“百谷”、“六谷”和“九谷”说的存在就是一个明证，而各地的作物种类又存在差异所致。“五谷”说之所以盛行，显然是受到五行思想的影响所致。因此，笼统地说来，五谷指的就是几种主要的粮食作物。
