留园先后有3个主人：徐泰时、刘恕、盛康。
留园始建于明代万历二十一年（公元1593年），为太仆寺少卿徐泰时的私家园林，时人称为“东园”。今中部池、池西假山下部的黄石叠石，似为当年遗物。
徐泰时去世后，“东园”渐废，清代乾隆五十九年，园为吴县东山刘恕所得，在“东园”故址改建，经修建于嘉庆三年始成，因多植白皮松、梧竹，竹色清寒，波光澄碧，因园内竹色清寒，故更名“寒碧山庄”， 俗称“刘园”，刘恕喜好书法名画，他将自己撰写的文章和古人法帖勒石嵌砌在园中廊。
咸丰十年（1860），苏州阊门外均遭兵燹，街衢巷陌，毁圮殆尽，惟寒碧庄幸存下来。同治十二年（公元1873年），园为常州盛康（旭人）购得，缮修加筑，于光绪二年（公元1876年）完工，比昔盛时更增雄丽，因前园主姓刘而俗称刘园，盛康乃仿随园之例，取其音而易其字，改名留园。
