《绍来自兴府志》记载:"南山,在县南四十里360百科,脉从天姥来,群峰叠拱如环城,其中稍宽,广容数百家。"在数百年之后的元代,南屏王协采让氏的先祖王胜宝来到天姥山中的南山,在此卜筑居住下来。
2018年12月,住房城乡建设部拟将南山村列入第五批中国传统村落名录。