嘉靖四十一年（1562年）严嵩被勒令致仕，嘉靖四十三年（1564年）严世蕃案发，其恶迹败露后，世宗下诏将他罢职，削籍为民，后被处斩，家产被抄，奸党与家人一一治罪。
隆庆元年（1567年），87岁的严嵩贫病交加，把持朝政20多年后，在举国一片唾骂声中死去，挤进《明史·奸臣传》。
他死的时候，寄食于墓舍，既无棺木下葬，更没有前去吊唁的人。《明史》将严嵩列为明代六大奸臣之一，称其“惟一意媚上，窃权罔利”。
严嵩是被朝廷罢官之后赶回了老家，财产也完全被抄了，剩下了他自己孤身一人，曾经的朝廷首辅改行当了乞丐，去沿街乞讨度日，由于他做了太多太多的缺德事，几乎没有人给他饭吃，最后被冻饿而死。而他的儿子严世蕃则是因为杀人太多，作恶多端被朝廷给斩了！
