赵孟頫晚年一直重病缠身。
元朝内部当时政治斗争极为严重，整个朝廷内部互相倾轧，黑暗无比。赵孟頫顶着一个前朝宗室遗民的头衔，在官场上的日子过的并不好。
加之他本人其实也并不想出仕为官，于是后来便以生病的借口，向皇帝辞职。皇帝意思意思的挽留一番，便任命他为集贤直学士，其实就是一个养老职位。
大德三年，赵孟頫被任命为集贤直学士行江浙等处儒学提举拜为翰林侍读学士，后来又因为皇太子爱育黎拔力八达的关注，再一次在元朝出头。一直到延祐六年的时候，赵孟頫才算是彻底脱离了元朝政府。
至治二年，赵孟頫在家去世，享年六十九岁，元朝追封其为魏国公，谥文敏。
