卫青三个儿子分别是卫伉、卫不疑以及卫登，三人都是襁褓封侯，三人后来都因不同罪名被剥夺侯爵之位，有的身死、有的沦落成普通人。长子卫伉在卫青去世之后继承卫青爵位，之后因为没带令符进宫被罚丢爵，卫伉逐渐向纨绔子弟发展，这次违反法令擅自入宫只是开端，后来巫蛊之祸爆发，卫伉牵连其中被处死。卫不疑和卫登因为酎金罪被免除爵位，此后史料中再无关于卫不疑的记载，反倒是卫登出过几次。卫子夫曾孙汉宣帝刘病己即位后，曾经赏赐给卫登的儿子50万钱以作起家之用，所以汉室并没有忘记卫青为大汉做出的贡献，虽然卫青子孙也无力恢复卫家当年风采，但好歹也算是个富贵之家。