在卫青死后，由于他的功劳和其妻子平阳公主的操持，卫家依然不错；但是在后来的“巫蛊之祸”时，卫青的长子长平侯卫伉由于受巫蛊牵连，坐诛；而且皇后卫子夫、太子刘据也在此次事件中自尽。
也幸好有平阳公主的保护，所以卫伉的子嗣以及卫青次子卫不疑与幼子卫登的家族并没有受牵连的记录。但是至此之后，卫家地位和影响力迅速下滑，成了一个没落家族；在后来汉宣帝、汉成帝以及汉平帝时期，卫青的后人以皇帝诏复家，但再无影响力了，不过好歹卫家也是保存了下来。
在东汉末年的时候，卫家也是有记载的，河东卫氏家族，在朝野士林颇有声望，连蔡邕都把自己的女儿蔡文姬嫁给了卫家的卫仲道，可见一斑；而且在汉末三国时期河东卫氏还有个更有名的人，名叫卫觊，后成为曹魏大臣。
