三穗堂建筑初起于1760年改建，为士绅集会处。初称为“乐寿堂”，自然是典出《论语·雍也》的知者乐仁者寿，毕竟堂后有山有水。后改为三穗堂，典出《后汉书·蔡茂列传》，似有升官发达之意，或许可引申为吉祥如意。堂上有三块匾“三穗堂”、“灵台经始”和“城市山林”。还有幅对联“秋水藕花潭蟾窟流辉楼台倒影涵金粟，晓风杨柳岸莺梭织翠村巷随声纬木棉”字义与平仄都非常工整，不知出自何人手笔。
三穗堂后面紧接着就是仰山堂。名称来源不清楚，但估计与江西名山仰山无关。或许是写实，对着大假山，故称为仰山。或许是取自《诗经·小雅·车辖》中的“高山仰止”。堂上有匾额，“此地有崇山峻岭”，取自王羲之《兰亭序》。当时没有注意，堂上还有一层，称为卷雨楼。典出王勃《滕王阁诗》“珠帘暮卷西山雨”。这些文字多少有些浮夸。几个石头堆起十四米高的假山，就号称大假山，甚至是“崇山峻岭”。《滕王阁诗》的诗句“画栋朝飞南浦云，珠帘暮卷西山雨”形容楼高入云，用于个两层楼似也不妥。隔水逆光拍摄张仰山堂和卷雨楼的照片，还有仰山堂侧影。
