霍去病出生于公元前140年。
霍去病出生于汉武帝建元元年（前140年），是平阳侯府的女奴卫少儿与平阳县小吏霍仲孺的私生子。霍仲孺当差期满，回到平阳县，与在长安平阳公主府的卫少儿失去联系。因此霍去病一直不知道自己的父亲是谁，直到成为骠骑将军后才与父亲相认。前139年，卫少儿的妹妹卫子夫得幸汉武帝刘彻。一年多后（约前138-137年），卫子夫全家贵幸。卫少儿曾经与曲逆侯陈平的曾孙陈掌私通，此时她与陈掌结婚。霍去病因此在年幼时成为当时最重要的外戚家族的一员，过上上流社会的生活。
霍去病在少年时代就“善骑射”。汉武帝很喜欢他，让他做了自己的近臣侍中。汉武帝还曾想亲自教授霍去病《孙子兵法》。
元狩六年（前117年），霍去病忽然身亡，时年24岁，陪葬于茂陵，谥号景桓，其坟墓型如祁连山。
