羊祜的身世似乎带点迷团，按《晋书·羊祜》，羊祜父亲是上党太守羊衜，三国时期，上党属于魏国的统治范围，陈寿的《三国志》没有为羊衜立传，但从《三国志·吴书·吴主五子传·孙登》里面可以找到羊衜出仕东吴作为孙登的宾客。裴松之在《三国志》注引《吴录》、《吴书》及《江表传》，里面关于羊衜的记述，综合起来可以得知羊衜是南阳人，刚出仕东吴担任中庶子，属于孙登的侍从，位至桂阳太守。桂阳属于吴国统治范围。很明显，《晋书》和《吴录》等书籍关于羊衜的记录很很大的出入。按成书时间，《晋书》成书于唐代，而《吴录》等书籍成书于三国到晋初，而且是记述吴国的地方史料，这点更为可信。而羊祜的祖父羊续在东汉末年任职南阳太守，《吴录》提出羊衜是南阳人，羊续和羊衜的父子关系，以及羊衜和羊祜的父子关系值得推敲。
另一点值得一提的是，羊祜与东汉末年文化领袖蔡邕的关系，按《晋书·羊祜》：“祜，蔡邕外孙”。《后汉书·蔡邕列传》记录蔡邕被诬告后亡命东吴，“往来依太山羊氏，积十二年，在吴。” 《后汉书·列女传》记录董祀的妻子蔡琰，也就是蔡邕的女儿蔡文姬。关于蔡文姬的三次婚姻，第一次嫁给卫仲道，由于卫仲道早死，蔡文姬没有为卫仲道生育；第二次婚姻，蔡文姬于董卓之乱后被匈奴骑兵捉获，嫁给南匈奴左贤王，为左贤王生下两个儿子；第三次婚姻，由于曹操念于与蔡邕素有交情，用金壁向南匈奴左贤王赎回蔡文姬，《后汉书·列女传》这样写道：“曹操素与邕善，痛其无嗣，乃遣使者以金璧赎之，而重嫁于祀。”，这里提到“痛其无嗣”，可见蔡邕没有儿子。
再看《晋书·后妃传·景献羊皇后》这样记录：“父衜，上党太守，后母陈留蔡氏，汉中郎将邕之女也。” 景献皇后羊徽瑜，嫁给司马师，司马炎建立晋朝则追谥司马师为景帝。《晋书·羊祜传》记载羊祜是“景帝皇后同产弟”，又记载“祜前母，孔融女……”前母是继室所生的子女对父亲前妻的称呼，因此可以断定，羊祜的生母是蔡邕的女儿，羊徽瑜的生母是孔融的女儿。《晋书·羊祜传》还记载这样一段：“祜当讨吴贼有功，将进爵土，乞以赐舅子蔡袭。”可见蔡袭极有可能是蔡邕的孙子，这与《后汉书》关于蔡文姬的记载有出入。而《后汉书·蔡邕列传》只字不提蔡文姬，《三国志》也没有任何关于蔡文姬的事迹，是有意隐瞒还是《后汉书·列女传》的记载失实，从书面文字上无法得到证实。
还有一点，羊祜后代的问题，《晋书·羊祜》记录羊祜女婿劝羊祜私营党羽，羊祜“默然不应，退告诸子曰：‘此可谓知其一不知其二。……’”同样是《晋书·羊祜》后面说到“而祜竟堕马折臂，位至公而无子。”前后有所矛盾。按照《晋书·羊祜》所记载“帝以祜兄子暨为嗣，暨以父没不得为人后。帝又令暨弟伊为祜后，又不奉诏。帝怒，并收免之。太康二年，以伊弟篇为钜平侯，奉祜嗣。篇历官清慎，有私牛于官舍产犊，及迁而留之，位至散骑常侍，早卒。”因此，可以认为羊祜确实没有儿子，死后281年(晋太康二年)由其侄子羊伊继承生前的爵位。对于羊祜“默然不应，退告诸子曰”中“诸子”的理解，应该是羊祜的侄子。至于是否符合史实，有待考证。
羊氏在泰山南城是一个名门望族，而羊祜正是来自这个家族。羊祜字叔子，泰山南城人，十二岁丧父，孝思超出常礼，奉事叔父羊耽，态度甚为恭谨。成年后博学多才善于文书及拥有优秀的谈论技巧，当时任荆州刺史的夏侯威非常欣赏羊祜的才华，于是撮合兄长夏侯霸的女儿与羊祜结为夫妻。正是由于夏侯家族的关系，也基于与司马家族的关系，使羊祜身处魏国政权风云跌宕的浪潮之中，而因为羊祜自身的修养及对形势的把握，又使自己置身于一场政变的暴乱之外。
