据清同治《上海县志》载：“明万历二十八年，有沉香观音像浮至淮口，时潘允端督漕淮上，奉归建阁。”故名沉香阁，为潘允端的家庵。
沉香阁，又名慈云禅院，坐落在上海市沉香阁路29号。它和玉佛寺、龙华寺、静安寺、圆明讲堂等五所上海的佛教寺院于1983年4月同时被国务院列入全国142所汉族地区重点寺院。沉香阁始建于明万历年间，重建于嘉庆二十年（1815年），改名为慈云寺，但民间仍称它为沉香阁。整个寺院颇具规模，前有弥勒殿，山门石坊；中有大雄宝殿、沉香佛殿，还有造鹤轩、前殿禅堂及左右厢楼。阁的建筑形式庄重典雅，在整座寺中显得非常突出。阁在清代为邑城官员祈晴祷雨之处，上海在未建万寿宫前，皇帝皇太后生日也在这里朝贺。因而香火旺盛，誉满上海城。
