“兄长，无须如此动怒，不过是一些黄巾余孽罢了，以我军实力须臾之间便可将他们消灭。”韩遂在一旁劝谏到。
韩遂这家伙或许正如诸葛亮评价魏延那样，是个脑有反骨的家伙。
光和元年十一月，羌人北宫伯玉反叛，将时任凉州督军从事边允与凉州从事韩约劫为人质，不予放还。凉州刺史左昌派盖勋率军驻守阿阳县，叛军见阿阳县无法攻破，便转向攻打金城郡，斩杀金城郡太守陈懿，胁迫边章、韩遂入伙，共推举边章为首领。边章又率军包围州治冀县，左昌向盖勋求援。盖勋率援军抵达冀县，斥责边章等人背叛朝廷。边章、韩遂都说：“左昌当初要是早听您的话，派兵来救援金城郡，或许我们还能改过自新，如今罪孽深重，不能再投降了。”于是，边章等人哭泣而去，解除对冀县城包围。后又包围护羌校尉夏育。而边允改名为边章，韩约也在此时正式改名为韩遂。
中平二年三月，韩遂等率领数万骑兵打着诛杀宦官的旗号入寇三辅，侵逼园陵。汉灵帝遣左车骑将军皇甫嵩及中郎将董卓征讨，都不克，而边章、韩遂等实力进一步扩大，拥有十万之众，天下为之骚动。十一月，在夜晚有流星如火，长达十余丈，照亮韩遂营中，驴马都发出叫声。韩遂、边章军对都认为这是不祥的预兆，想要退回金城。董卓听说后大喜，第二天，便与右扶风鲍鸿等合并进攻，大破韩遂、边章军，斩首数千级。韩遂等败走榆中。张温于是派周慎率军三万追击，引军包围榆中城。而韩遂、边章分兵驻守葵园峡，反而将周慎军的粮道截断。周慎感到恐慌，便丢弃辎重撤走。
这是韩遂第一次反叛，以失败告终。
中平四年，韩遂杀边章及北宫伯玉、李文侯，拥兵十余万，进军包围陇西。四月，凉州刺史耿鄙率六郡兵讨伐韩遂。陇西太守李相如、酒泉太守黄衍反，与韩遂连和，耿鄙为别驾所杀。汉阳人王国，自称合众将军，都与韩遂联合，进而包围汉阳，汉阳太守傅燮战死。耿鄙的司马、扶风人马腾，也拥兵反叛，韩遂等共推王国为主，攻掠三辅地区。中平六年二月，王国围陈仓已八十余日，但因城池坚固，一直无法攻破。皇甫嵩趁机率军追击，大获全胜，斩首一万多级。韩遂等人共同废掉王国，胁迫前任信都县令、凉州名士阎忠担任首领，统率各部。阎忠愤恨病死，韩遂等人逐渐争权夺利，继而互相攻杀，于是势力逐渐衰弱。
韩遂的第二次反叛，还是以失败告终。
