明经胡氏壬派始祖胡士良之所以举家大小从婺源考水迁来西递居住，就是因为受到风水观念的影响和制约。他发现这里山形有“天马涌泉之胜，犀牛望月之奇”，并根据风水学的理论得出了“船形西递，大吉大利”，“东水西流，吃穿不愁”的结论而选定了西递为胡氏安身立命的生存之地。自然环境千变万化，风水学认为村之选址须以风水观念的“气说”为重要依据。而“气”是抽象的，它必须通过四周环境的“形”来表现，而这个“形”就包括空气、阳光、青山绿水、风力风向、温度湿度等诸方面的环境条件。

　　西递老祖宗对自然环境十分尊重，强调“天人合一”，整个村落总体环境的要求是：前有朝山，后倚龙脉，有似龙凤狮象形之山峰把守水口、河流，有象玉带般的溪水延绵流向全村。西递古民居的大门，大都朝者东、西、北三个方向，即是有些房屋因受地基局限，不得不朝南开设大门，也得设法偏一偏，宁可开成一扇斜门。这样做，民间有多种传说：一是，封建社会有尊卑之分。宫殿、庙宇都朝正南，帝王座位也是座北朝南，叫做“南面称尊”。民间造房，都得偏东或偏西一些，免得犯“讳”而获罪；二是按照风水论“巽山乾向”的说法，巽为东南，乾为西北，就是说好的住房应该是坐东南朝西北；三是古徽州在建房中有许多禁忌。黟县自古流传着“商”家门不宜南向的说法。针对这种封建社会风水门向等理论，西递村“西园”的原来主人胡星阁却有不同的见解和认识，他为人豁达，洞悉世风，曾任道光年间的河南开封知府官封正四品中宪大夫。他认为坐房选址用不着说东道西，择选门向；儿女婚嫁，用不着排八字，选属相，择时辰选吉日。自己认为想做就做，而且事事顺利，百无禁忌，故在自家门口用黟县大理石雕刻了“百可园”三个大字并作为眉刻题额嵌在墙上，留存至今。