连俘虏都被他们带走了，这些壮劳力可以当奴隶。
蛮子们也没有全部走，还有三百多人留了下来，愿意跟着相夫，跟着神将一起征战。魏霸当然求之不得，把他们编作一营，由相夫率领。相夫主动挑出五十多名剽悍骁勇的勇士，补充到魏霸的亲卫营中。
在夜色之中，魏霸等人趁着缴获来的战船，顺水而下，直扑吕岱在雪峰山下的大营。
第二天中午，几个溃逃的吴军赶到了锦屏山，将舞阳遭到来历不明的敌人袭击的事告诉了吕岱。吕岱大吃一惊，暴跳如雷，须发贲张：“哪来的敌人，能够袭击舞阳城？”
吕凯等人面面相觑，他们哪里知道是谁。这几个逃卒说得颠三倒四，根本没什么有用的信息，从他们有限的叙述来看，这更像是守外城的蛮子造反了，因为吴军士卒当时看到的更多的是蛮子，而且蛮子们在外城闹事持续了很长时间，怎么看都像是有预谋的。
不管是蛮子还是谁，舞阳城不明不白的失守了，连唐咨的首级都被人挂到了城头上，粮食、军械也保不住了。吕岱犹豫半晌，立刻下令撤军。没有充足的后勤补给，他无法继续围困锦屏山，哪怕知道孙权的心腹大患魏霸就在山上。
吴军撤退了，靳东流很快就收到了消息，他立刻意识到魏霸已经得手，战局已经发生了逆转，反击的时候到了。他立刻派人给赵统等人送信，希望他们做好反击的准备。
吕岱撤退的时候，潘濬和步骘也先后踏上了归程。他们虽然暂时没有后路之忧，可是他们从一开始就清楚，这次对三山谷的攻击看起来声势浩大，其实是一招险棋，千里行军，深入大山腹处，补给线的漫长和脆弱是明摆着的。如果不是公主被劫，暴怒之下的孙权给他们下了死命令，他们才不会做出这么冒险的举动。既然不能快刀斩乱麻的攻克三山谷，那尽快撤退就是唯一的选择。
潘濬和步骘都是带兵多年的将领，深知其中要害，他们恨不得身插双翼，飞出大山，可是这一点注定了他们不能如愿。万余人的队伍在大山里行军，又刚刚经过了大半个月的苦战，他们士气低落。为了防止他们出现溃败，潘濬反而不敢快速行军，只能按部就班的撤退。
