黄牛寨历史悠久，文化底蕴深厚。关于黄牛寨的来历有多种版本。由于当地大多数人都不知黄牛寨的历史渊源，故有因山势象黄牛而名说；有因山上生长着茂密的黄栌树而名说；还有西汉王莽撵刘秀之戏说。当面对媒体和游 客的探询时，更爆料出许多牵强附会的版本。因诸多版本大都无史料可佐证，多为民间传说而已。
现有竹林李氏全字辈李全甲老先生（2019年谢世）珍藏祖传《李氏家族轶事》一书，由于年代久远，纸质脆烂，手触即碎。李老先生不忍祖传文化瑰宝毁没于历史烟尘之中，生前倾力抢救性地把书中勉强能看清的章节，手抄集成三册，名曰《竹林李氏记载》。
李全甲老先生于晚年又将手抄本转赠给91岁高龄的老教师李治业先生。李老先生耗数年心血，将手抄本全部编入《乡愁汇》一书，意在传承竹林历史文化，使竹林的子孙后代不忘乡愁，热爱家乡，建设家乡，为家乡发展贡献力量。
书中《南走三十里没出村》一文，详细记载了黄牛寨的来历、建寨时间及元朝末年元兵血洗竹林村、乡民到黄牛寨躲避兵匪战乱的史实。后历经元、明、清500余年间，兵荒马乱、盗贼猖獗、朝代兴衰更迭、百姓山寨避祸及多次重修山寨等历史沧桑之变，铸就今日古寨风貌。读来颇感与史实相近，可信度稍高。
《南走过里没出村》故事讲述人是竹林李氏先祖李应星。
故事是当年李应星的爷爷讲述的。
故事梗概如下：
明朝正德三年（1509）年，竹林李氏始祖李权南山打猎，回家途中，路遇饭店掌柜王三双。
王三双向李权讲述了元朝时期竹林百姓抗击元兵侵扰，建黄牛寨避难的故事。
元朝时，竹林沟住着一个员外大户，叫柳清廉。柳家家业广富，北至云蒙山（今伏山）南朱砂坡（今茶庵。因伏山南坡岩石为红色，所以叫朱砂坡），南至迎风水（今慈云寺景区电力宾馆东南一带），南北三、四十里之内都是柳家的地。
元末至正四年（1344）年，旱灾蝗灾并发，由于饥饿和瘟疫，人死大半儿。当时，元朝统治政治腐败，盗贼四起，到处兵荒马乱。
这一年，有一个从南方来的青年叫黄拗，因嫂子被元兵侮辱，他哥杀了元兵。案发后，一家八口被元兵杀了七口。因青年当时没在家，才躲过一难。一路逃难，来到竹林，被柳员外收留，作为家人在柳家帮工。
黄拗长得眉清目秀，身材魁梧，身强体壮，力大无穷，干活像牛一样卖力，对人又忠诚，把柳员外的整个庄园管理的有条有理。于是柳员外就把黄拗收为义子，改名叫柳黄牛。
后来柳黄牛见当时的形势，朝廷腐败，赋税苛政，民不聊生，官逼民反，盗贼四起，世道很乱，就向柳员外建议，利用我们这一代山高林密的地理优势，建山寨躲避兵匪战乱。
经过两天的南山考察，最后选定在山巉岩（现黄牛寨的东坡、南坡和西坡一带）建寨。因那里地势险要，三面悬崖峭壁，易守难攻。决定在那里南边山坡上就地取材，用石头建房子，住人或做仓库，东边和北边垒寨墙、建寨门，左右两边再建两处房子，给护寨人员做值班房。寨墙建起后，然后再在墙上多堆放雷石，以防元兵或匪徒来攻寨抢东西。寨内再建几个蓄水池，以供寨内人员生活用水。最后确定让黄牛领工，要求四个月把寨建成。
规划好后，不日即组织民工，组成建寨队伍，浩浩荡荡来到山上，开始了山寨建设。
数月后，山寨如期竣工。柳清廉又亲自为山寨取名为“鞑宿寨”，西边的蝎子沟（现在黄牛寨牛尾处）改名为“鞑宿沟”。
为什么取名为叫“鞑宿寨”和“鞑宿沟”呢？原来，元朝末年，元政府推行严苛的民族歧视政策和残暴的统治，派由少数民族鞑靼人组成的蒙古鞑子兵，对家家户户实行监视管制。这些鞑子兵为非作歹，无恶不作，老百姓非常痛恨。于是利用八月十五中秋节，月饼里边藏纸条，约定同时起义痛杀鞑子兵，获得起义成功。柳员外为山寨取名“鞑宿寨”，意为表达从此鞑子兵匪战乱止息，国泰民安之意。
山寨建成后，柳黄牛又向柳员外提出建议，排兵布阵，进一步加强山寨的管理。为了及时了解山外的信息，掌握元兵的动向，柳家分别在柳店洼（现在大尖谷堆下）开了一个饭店，叫柳家饭店。在北山朱砂坡（现镇北街茶庵岭处）十字路口开个饭店，叫马灵饭店（因柳员外的管家马灵在管理）。在西边冷口（现后寺河牛尾峰处）开个饭店，名为王家饭店（因柳员外的亲戚王年管理）。此三家饭店虽各有名号，但实际都是柳家所开，名为饭店，实为打探消息的联络站，有点像水浒传中汗地忽律朱贵的角色。
后来有一天，柳黄牛见几处官道上元朝的骑兵频繁经过，立即建议柳员外赶快收拾家中细软，携家人上山寨躲避。
就在当天夜里，元兵突然扫荡了竹林周边的多处村庄，火烧柳家饭店，血洗竹林沟员外府。柳黄牛组织家丁，奋不顾身与元兵拼杀了一夜，13名元兵全部被歼。全庄战死30余人。柳员外及家人，儿子刘永平、刘永安战死。柳黄牛在元兵马队中来回冲杀，身负20余处重伤，被抬回山寨后牺牲。最后，柳黄牛在弥留之际，留下信物，安排柳员外三子、四子柳永福、柳永贵和侄子柳文成到南方苏溪避难，远走他乡。
后来，直到大明洪武年（1369）年间，永贵和文成从南方回来，才把柳家坟从夕阳坡搬到蝎子山（现长寿山五连池沟口）风光大葬。把柳黄牛的坟也从东寨门里起出，埋到了蝎子山。
再后来，永贵和文成都回到南方去了，几年只回来上次坟。柳家的地和财产都不再过问，年年上坟都由他外甥柳文华后代回来。
再后来，为了感恩柳员外一家对全村人的庇护，年年清明节和十月一，这山上一带，不管是姓张、王、李、刘的，回村上坟时，都要给柳家的坟也挂挂纸，烧摄箔。为纪念柳黄牛抗击元兵，护卫乡亲，英勇杀敌的精神，山上的“鞑宿寨”也改名叫黄牛寨了。
