留余山居原位于南高峰北麓,据史料记载,由六通寺沿小径而上,树木草丛中,奇石林立,不可名状。有一泉从石壁下注,高有数丈,飞珠喷玉,直落崖石,水石相击,声若琴音。山居即在泉旁,由泉左攀登至顶为楼,名“白云窝”,楼西为台,可供眺览,名“流观台”,台下有堂三间。清乾隆二十二年(1757),乾隆帝到此游览,赐题“留馀山居”四字为额,此名流传至今。山居旁另建有江亭、听泉亭(为乾隆御题西湖二十四景之一)。2004年,在原址附近按古籍记载的留余山居布局复建该景观,沿用留余山居旧名。同时沟通水系,堆叠假山,重新添置楹联匾额,营造旧时景观。