胡雪岩有三个儿子，长子胡楚三19岁早逝，次子胡缄三有两个儿子，三子胡品三有四个儿子。胡雪岩被抄家以后，自己多年的心血付诸东流，他深深地感到经商带来的风险，尤其官商结合。胡雪岩临终前告诉儿子，以后不要经商，不要轻易与官员扯上关系，由于李鸿章的缘故，胡雪岩告诉儿子不要与姓李的人结亲。
胡雪岩被抄家破产以后，其次子胡缄三卖掉胡庆余堂的“招牌股”，把胡家的子孙后代送往国外读书。胡雪岩的子孙后代恪守祖训，不经商，不入朝为官，大多从事教育、科研等方面的工作。
胡雪岩孙辈中比较有名的是胡萼卿，他是胡雪岩三子胡品三的大儿子，也是胡雪岩的长孙。胡萼卿从小聪明伶俐，清朝统治时期，高中举人，在日本留学期间加入孙中山先生的同盟会。胡萼卿的夫人是官宦子弟，思想保守，不让丈夫参加革命，也不让他进洋学堂。胡萼卿后来对国家大事不闻不问，整天待在家里研究文学。
胡亚光是胡雪岩三子胡品三的孙子，胡萼卿的儿子，也是大书法家戴熙的外曾孙，出生于1901年。胡亚光最初师从张聿光，学习西画，他跟着父亲胡萼卿学习诗文，后来又跟着外曾祖父学习绘画，在艺术、文学方面胡亚光很有成就。
胡亚光21岁那年跟一帮朋友在杭州创办兰社，第二年又创办绘画研究所、暑期绘画学校，培养了一大批美术人才。
抗日战争爆发以后，胡亚光带着家人到上海生活，在上海的中学从事劳美教员，后来还成为《新闻报》的特约作者。胡亚光曾给宋庆龄、蒋公、周总理、张大千等人造像。新中国成立以后，从事油画、国画等方面的工作，后来历任浙江美术会会长、新华大学浙江分校教师等职务。
胡筱梅是胡亚光的女儿，按照封建社会习俗，女孩子是不能进学堂的，但是胡亚光却把女儿送进学堂，他希望女儿能够跟他一样学习绘画，但是胡筱梅却认为绘画不能谋生。
胡筱梅艰苦学习，立志完成高中学业，将来能够成为一名小学老师。胡筱梅后来在上海一所重点学校任教，并获得了“上海市第一届优秀教师”的称号。
胡雪岩的子孙后代谨记先祖的教诲，大多生活在国外，他们不从商，不踏入政坛。可惜的是胡雪岩经商的天赋没有被传承下来。
