四王府原是明代皇室婴幼儿夭折埋葬之处。不是指王爷。刘若愚《酌中志》云:“西山陵坟,景皇陵、皇太子坟、王坟、公主坟,各有掌府官一员,佥书十余员。以供洒扫、看守香火,凡有祭祀,即本处掌府官行礼”。此地被称之死王府。后改名四王府。