四王府原是明代皇室婴幼儿夭折埋葬之处。刘若愚《酌中志》云：“西山陵坟，景皇陵、皇太子坟、王坟、公主坟，各有掌府官一员，佥书十余员。以供洒扫、看守香火，凡有祭祀，即本处掌府官行礼”
刘若愚是明代太监，他以自己在宫内多年的耳闻目睹，记述了皇太子坟、五坟。此地被称之死王府，后避“死”字则改“四”字同音。四王府之名最早见于《五城寺院册》，“三教寺在四王府南”。说明是在清乾隆年间始称“四王府”。
周肇祥《琉璃厂杂记》中云：“由金山口沿山抵此，明代有府二十余。如四王府、忻王府、雍王府、申王府、皆诸诸王葬所”民国二十一年（1932）《北平市自治区坊所属街巷村里名称录》称“四王府”。
