后来刘安听闻雷被的名头，对其很感兴趣，就将雷被招到自己门下充当门客。雷被不仅剑术出类拔萃，更是对军略有独到见解，于是就被刘安安排到军中领兵。
雷被和淮南王门下的苏飞、李尚、左吴、田由、伍被、毛被、晋昌七人，也被当地百姓称为淮南八子，曾经也有响当当的名头。
刘迁在一边皱了皱眉头，他对刘安的安排有些不满，主要刘迁和雷被不合，这么重要的关头刘迁不想把希望放在雷被身上。
说起两人的不合就由来已久，雷被刚被刘安招揽到门下，从小学剑的刘迁就上门讨教。雷被顾忌刘迁淮南王太子的身份，不敢跟刘迁交手。
刘迁一再要求，并且声称若是不敌，也绝不记恨雷被。
雷被无奈之下只好答应刘迁，随后两人就开始了比试，比试过程中雷被已经多次放水了，奈何刘迁一点不知趣，非要缠着雷被，结果雷被不堪其扰又见刘迁不知趣，就击落了刘迁佩剑。
这一下刘迁丢了面子，心里就把雷被给记恨上了，有机会就要给雷被穿小鞋，要不是刘安多次安抚雷被，这位游侠儿早就离开淮南王父子了。
段宏这边跑的快，但是朝廷的信鸽飞的更快，段宏还未回到长安，刘彻已经收到了淮南王起兵造反的情报。
元狩三年（前120年），一月二十二，淮南王刘安起兵造反，衡山王刘赐一同起兵呼应，消息传出，天下大惊。
