西周的周成王时代，相传有两个著名的贤人，一个是周公，另一个是召公。周公是周文王的小儿子、周武王的兄弟；召公是周文王的侄子、周武王的堂兄弟。他俩都是周成王的叔父。他们把周朝直辖的地区，以河南陕县为界，分作东西两半。周公驻洛邑，管东半地区和东方的诸侯；召公驻镐京，管西半地区和西方的诸侯。他们时常巡行各地，宣扬朝廷的德政。
有一次，召公巡行南方，大约在汉水上游的一个小乡村里访问了老百姓的生活，还为他们解决了一些问题。老百姓非常感动，曾经祖孙相传，怀念了许多年。可周朝后来的几代天子，越来越糟，特别是西周末年的周幽王，简直如同商纣王一样，荒淫残暴，根本不顾老百姓的死活。因此，人们就更加怀念祖辈传说的召公那样的贤人。召公当年南巡时，曾在一株甘棠树下休息过，这株甘棠树便被当地百姓恭敬地保护着。
甘棠遗爱出自于《诗经·召南·甘棠》。甘棠遗爱本指周代召公行德政，人民感戴，对召公憩息过的甘棠树亦爱护有加。后用以表示对贤官廉吏的爱戴或怀念。
