韩遂本名韩约，字文约。光和元年九月，金城太守殷华在任上去世.，韩约因为是殷华的故吏，于是与江英等追送殷华的遗体到遐邱，刊石纪念其功勋。
中平元年，韩约前往京师洛阳办理公务，大将军何进久闻其名，特与他相见，韩约劝说何进诛灭宦官，何进没有听从，韩约于是请求归还凉州。
中平元年十一月，羌人北宫伯玉反叛，将时任凉州督军从事边允与凉州从事韩约劫为人质，不予放还。
凉州刺史左昌派盖勋率军驻守阿阳县，叛军见阿阳县无法攻破，便转向攻打金城郡，斩杀金城郡太守陈懿，胁迫边章、韩约入伙，共推举边章为首领。
边章又率军包围州治冀县，左昌向盖勋求援。盖勋率援军抵达冀县，斥责边章等人背叛朝廷。边章、韩约都说：“左昌当初要是早听您的话，派兵来救援金城郡，或许我们还能改过自新，如今罪孽深重，不能再投降了。”
于是，边章等人哭泣而去，解除对冀县城包围。后又包围护羌校尉夏育所部。而边允改名为边章，韩约也在此时正式改名为韩遂。
中平二年三月，韩遂等率领数万骑兵打着诛杀宦官的旗号入寇三辅，侵逼园陵。汉灵帝遣左车骑将军皇甫嵩及中郎将董卓征讨，都不克，而边章、韩遂等实力进一步扩大，拥有十万之众，天下为之骚动。
同年七月，皇甫嵩以无功免归。八月，朝廷再次命司空张温为车骑将军、假节，执金吾袁滂为副，拜董卓破虏将军，与荡寇将军周慎都归张温统帅。连同诸郡兵步骑共十多万人，屯驻在美阳，来保卫皇家园陵。韩遂也进兵美阳。张温、董卓与韩遂等交战不利。
中平四年，韩遂杀边章及北宫伯玉、李文侯，拥兵十余万，进军包围陇西。
四月，凉州刺史耿鄙率六郡兵讨伐韩遂。陇西太守李相如、酒泉太守黄衍反，与韩遂连和，耿鄙为别驾所杀。汉阳人王国，自称合众将军，都与韩遂联合，进而包围汉阳，汉阳太守傅燮战死。
马腾为了自身的利益也拥兵反叛，韩遂等共推王国为主，攻掠三辅地区。
中平五年十一月，王国包围陈仓，灵帝派左将军皇甫嵩督前将军董卓各率二万人前往抵抗。
中平六年二月，王国围陈仓已八十余日，但因城池坚固，一直无法攻破。皇甫嵩趁机率军追击，大获全胜，斩首一万多级。
韩遂和马腾等人共同废掉王国，胁迫前任信都县令、凉州名士阎忠担任首领，统率各部。
不久后阎忠愤恨病死，董卓也前往洛阳，马腾和韩遂等人便逐渐开始争权夺利，继而互相攻杀，于是他们的势力都是没有增强，反而逐渐衰弱。
当年董卓势大之时，马腾和韩遂都对其很是畏惧，后来董卓杀死了并州丁原，收复了并州兵马和吕布，以及汉朝朝廷的兵马后，实力更是增强几倍，因此两人虽有野心却也不敢图谋司隶州和并州，只能在凉州内耗。