柳生宗严、柳生严胜父子在与上杉军的混战中也是异常骁勇，他们接连砍伤今川家家臣大泽基胤、浜名重政、天野景泰、饭尾连龙、小原镇实、松井宗恒、岩船长忠等人，使得上杉军所面临的局势相当不利。

身在高安城本丸的今川氏定更是只能眼睁睁看着松永军来回冲杀，一点办法都没有。

情急之下，今川氏定只好率驻守本丸的冈部元信、朝比奈泰朝、井尹直绪等人以及部分马廻众参与到混战之中，意图让己方军势恢复秩序。

两军混战之中，今川家重臣朝比奈泰朝主动率十名武士冲上前去与松永军展开近战，将今川氏定护到自己的身后，并先后斩杀了周围二十余名松永军步卒。

然而就在这时，松永军中有一名足轻手持铁炮、点燃火绳，向今川氏定开火了。

就在这危急时刻，今川家家臣大石五郎左卫门见状立即冲上前去，用自己的身体挡住了今川氏定，而他自己却中弹身亡了。事后，其子大石五郎右卫门因此受封河内乌帽子形城两万石知行地，还被八条景定授予感状。

与此同时，井尹直绪所节制的井尹谷众井尹直成、井尹直藤、上野直泰等两百余人赶过来救援。

很快，井尹直绪就注意到了不远处正不断击倒上杉军武士、足轻的柳生宗严、柳生严胜父子。

为了挽回己方不利的局面，井尹直绪可顾不得此人之后是否能为上杉将军家所用，他直接下令井尹谷众尽快向柳生宗严、柳生严胜父子进行集火射击。

仅仅一轮铁炮齐发，松永军的攻势被遏制了——柳生严胜被铁炮击穿右腿、右臂，右手还少了拇指和食指；柳生宗严手中所持太刀被铁炮弹丸所打断；柳生势中能骑马的武士包含柳生宗严在内，只剩三人，其他的全部缺胳膊少腿，血染战袍，让人不忍直视。

坐镇高安山下的松永久秀见己方军势完全啃不动高安城这块硬骨头，还不愿失去柳生宗严、柳生严胜父子这样的勐将，只得连忙下令收兵返回信贵山城。

但急于立下战功想要在自己父亲面前表现一番的今川氏定可不打算就此放过松永久秀，他当即下令对松永军展开追击。

随后，冈部元信、朝比奈泰朝、井尹直绪、加贺爪政丰、大石芳纲等将纷纷率麾下马廻众杀出，对松永军不断追击。

这时的松永军就没有先前那样骁勇善战了，反而因被上杉军击退以及柳生严胜身负重伤等原因士气低落。再加上上杉军的不断追击后，松永军很快就陷入了进退失据，自相践踏，乱作一团。

而上杉军则是趁机掩杀过去，使得松永军迅速溃败。其中，竹内秀胜、河那边尹豆守、渡边兵卫尉、松冈右近、竹田对马守等诸多松永家有力武将皆在混战之中被上杉军讨取。

就连松永久秀本人在逃回信贵山城的途中差一点被上杉军的骑马武士追上，若不是守军及时将城门关闭，恐怕上杉军就能趁胜攻入信贵山城中了。

与之相对的，其余跑得慢的松永军就没有松永久秀那样好的运气了，不是被上杉军讨取，就是在深山老林之中遭遇了落武者狩。最后，松永久秀所率的一千余军势仅剩不到十人随他返回信贵山城之中。

至于擅长剑术的柳生宗严、柳生严胜父子更是在信贵山下的密林之中蛰伏两天两夜才得以返回信贵山城，但柳生严胜因此也错过了最佳的治疗时间，余生再也无法挥舞太刀，其右臂、右腿也是勉强保住，没有进行截肢。

兴福寺住持兴福寺英俊更是称高安山之战是松永久秀一生之中仅次于小濑原之战的一场惨败。