古代杭州西湖的三面群山总称“武林山”《汉书》卷28上（地理志第8上）会稽郡 云“钱唐，西部都尉治。武林山，武林水所出，东入海，行八百三十里。””。秦汉时候钱唐县衙即在武林山脚。另有武林门内的小山叫做“小武林山”现已不存。杭州西湖的三面群山总称“武林山”，这是“武林山”的广义，狭义的“武林山”则又指灵隐寺周围的山。《武林旧事》卷5：武林山，又名灵隐山。狭义的灵隐山有五峰——飞来峰、白猿峰、稽留峰、月桂峰、莲华峰。《武林旧事》还说，灵隐寺周围的山又名“仙居山”、“灵苑山”，——此二名已几乎无人说起。