因反对永乐皇帝第五次北征大漠而下狱。
永乐十九年（1421年）冬，成祖将要大举远征沙漠，命夏原吉与礼部尚书吕震、兵部尚书方宾、工部尚书吴中等人一起讨论，都说不宜出兵。
他们还没有上奏，正好成祖召见方宾，方宾极力说兴兵的费用不足。成祖很不高兴，召夏原吉来问边防储备情况，夏原吉回答说：“连年出兵，都无功而返，军马储备已损失了十分之八九，加上灾荒不断发生，现在已经内外交困了。况且您圣体欠安，还需要调养，就请遣将出征，不要劳动车驾了。”成祖大怒，立即命令夏原吉出去治理开平的粮食储备。
而吴中进去所说的也和方宾一样。成祖更加愤怒，将夏原吉召回，关进内官监，并将大理寺丞邹师颜也关押起来，理由是他曾代理户部事。方宾惧而自杀。成祖于是抄夏原吉的家，除赐给的钞币外全部没收，只剩下布衣和坛坛罐罐。
