汉武帝刚继位时，有着两个太后，一个是他的奶奶窦太后，另一个是他的母亲王太后。窦氏外戚和王氏外戚在武帝时期都很有势力，其代表人物是窦婴（窦太后堂侄）和田蚡（王太后同母异父的弟弟）。两代外戚对汉武帝的压制都非常厉害。比如窦太后曾经罢免了汉武帝任命的丞相、太尉、御史大夫，而任命自己的人做丞相、御史大夫。田蚡担任丞相时，仗着姐姐王太后撑腰，也是专权跋扈，令汉武帝非常气愤。刚继位的汉武帝，对窦太后、田蚡都是无可奈何。
随着窦太后、田蚡去世（王太后较少干政），汉武帝逐渐开始大权独揽。汉武帝很了解外戚得势后的嚣张跋扈。所以，他不能容忍外戚势力过于强大。
汉武帝废掉了出身高贵的皇后陈阿娇（其母是武帝的姑姑、馆陶长公主），立奴婢出身的卫子夫为皇后。之后又开始提拔卫青，这是在培植自身的亲信势力。卫氏出身低微，在汉武帝看来，是易于控制的。
但经过二十多年的发展，卫氏已经发展成仅次于皇家的豪门大族，皇后、大将军、骠骑将军、太子、丞相都出自其家（卫子夫的大姐卫君孺，嫁给了大将公孙贺，公孙贺后来官至丞相）。卫氏已经成为朝堂上最庞大的势力，实力更胜过前代外戚。当然，卫青为人忠厚谨慎，并不贪权。但汉武帝不会因此就对卫氏放松警惕。
在卫青最受宠幸的时候，他的三个儿子全部都被封侯。但在卫青晚年，他的三个儿子都被剥夺了侯爵。卫青去世后，又发生了巫蛊之祸，卫子夫、刘据、卫伉（卫青长子）、公孙贺（卫青姐夫）等都死于此次事件。卫氏主要成员几乎全部死亡。
汉武帝继位之初，地位不稳，需要扶植卫氏作为羽翼。等到卫家势力逐渐发展起来，被汉武帝削弱、打击是必然的。
