冯唐的祖父是战国时赵国人。他的父亲移居到了代地。汉朝建立后，又迁到安陵。冯唐以孝行著称于时，被举荐做了中郎署长，侍奉汉文帝。
一次汉文帝乘车经过冯唐任职的官署，问冯唐说：“老人家怎么还在做郎官？家在哪里？”冯唐都如实作答。汉文帝说：“我在代郡时，我的尚食监高祛多次和我谈到赵将李齐的才能，讲述了他在钜鹿城下作战的情形。现在我每次吃饭时，心里总会想起钜鹿之战时的李齐。老人家知道这个人吗？”
冯唐回答说：“他尚且比不上廉颇、李牧的指挥才能。”汉文帝说：“凭什么这样说呢？”冯唐说：“我的祖父在赵国时，担任过统率士兵的职务，和李牧有很好的交情。我父亲从前做过代相，和赵将李齐也过从甚密，所以能知道他们的为人。”
汉文帝听完冯唐的述说，很高兴，拍着大腿说：“我偏偏得不到廉颇、李牧这样的人做将领，如果有这样的将领，我难道还忧虑匈奴吗？”冯唐说：“臣诚惶诚恐，我想陛下即使得到廉颇、李牧，也不会任用他们。”汉文帝大怒，起身回宫。过了好长一会儿，才又召见冯唐责备他说：“你为什么当众侮辱我？难道就不能私下告诉我吗？”冯唐谢罪说：“我这个鄙陋之人不懂得忌讳回避。”
