孔祥熙老家在山西太谷，这里是晋商繁荣时期的中心地带，其祖上长期从事经商活动，曾拥有6000顷土地，名声显赫的“志诚信票号”就是他们家的产业，由于家境富足，孔祥熙早年才有条件到北京协和书院就读，1901年还前往美国耶鲁大学留洋。
早年孔家祖籍山东曲阜，其先祖孔宏用于明代万历年间到山西做官，后人遂落籍山西，经商谋生。
到孔祥熙的祖父孔庆鲜时，因接掌堂叔孔宪仁所经营的票号，才渐臻富有。孔祥熙的父亲孔繁慈是个贡生，曾在票号担任过文案，因染上吸鸦片恶习，家境逐渐衰落。
孔祥熙五岁时由母亲庞氏启蒙教读，七岁时母亲去世，其父到太谷城西张村设私塾授课，他随父读书，从而打下国学知识的基础。
