据记载北宋灭亡后，《五牛图》落入了宋高宗赵构的手里，随后一直被珍藏在南宋皇宫里。
公元1279年，南宋灭亡，《五牛图》流落民间，先后被元代的赵孟，明代的项元汴等人收藏。清朝乾隆时期，《五牛图》被乾隆皇帝珍藏，随后一直留在清宫里。
1900年，八国联军侵略中国，占领紫禁城，他们大量掠夺了中国国宝，《五牛图》不知所踪。
上个世纪50年代，香港商人吴蘅孙在自家府邸向宾客朋友展示了一幅画，当众人看到这幅画后，震惊不已，因为这幅画就是《五牛图》。
《五牛图》是吴蘅孙在国外购买得到的，不过，好景不长，吴蘅孙的吴氏企业濒临破产，为了企业的资金周转，他不得不忍痛转让，出售《五牛图》。
面对国宝有可能再次流失海外，一位香港爱国人士立即给周恩来总理写信，希望中国政府出资收回国宝。
周总理看到这封信后，果断地做出了三点要求。
“第一，立即派专家赴香港，对文物进行鉴定，若是真品，立即收购；第二，收购后派专人护送，《五牛图》回京，确保安全；第三，文物到京后，交由条件好的文物单位妥善保管。”
就这样《五牛图》重新回到了祖国的怀抱。随后，经过专人修缮，《五牛图》重获新生，如今保藏在了故宫博物院。
