江湖上传言着一句话：“溪南城之心，路人皆知。”都把他的野心和司马昭对比了，这人能安好心？
况且，从白乔的口中得知，那天大会，与他们师傅最后一个比武的，正是嵩山派掌门溪南城。
综合以上所有看法，这事和嵩山派绝对脱不了干系。
知道此时后，李旭一十分恼火，怒发冲冠，但是依然拿嵩山派没有办法，原因是白乔的口述在众多人看来根本就是无稽之谈，只会为衡山派蒙羞。
但有两点，让李旭一可以避免接触嵩山派。
第一，李旭一双目已盲。这点看似不假，但是究竟怎么瞎的，成为了江湖中的未解之谜之一。于是李旭一利用这点，以不方便为由不出席任何关于五岳剑派的事，有什么事都是托人为自己报信。
第二，当天大会是嵩山派举办的，出了什么差错都应该由嵩山派负责，嵩山派承认了自己的办事不周，但李旭一表面是说不介意，但也暗中和嵩山派撇开关系。
但这件大事可没让衡山派一蹶不振，反而衡山派的威名更是往日。
因为李旭一管理衡山派的方式和他师傅一致，而且做事比他师傅更加果断。在与自己师出同门的师弟师妹的辅佐下，衡山派被壮大起来。这五位师兄弟妹，有的保江湖一方太平，有的踏遍万里河山行侠仗义，除恶扬善，江湖中人因他们的善行而称他们为“衡山五子”。
在某天，“仙笔妙书”鹤白良先生亲眼见到衡山五子在衡阳做的善事，于是为他们五人作了一首诗：
衡阳望南岳，南岳居五子。
白布奏二胡，肃杀无耻徒。
遮面琵琶后，未听琵琶瑟。
略壮提三弦，挥之斩八荒。
埙响如万马，践踏不善类。
琴筝拨何曲，一瞬即天地。
五子一聚，定奏绝世曲。
如今这首诗，在江湖广为流传，衡山五子也成为了江湖上无人不晓的称号。