为此，1980年3月最高首长提出“军队还是要搞军衔制”。于是很快就开始制订《解放军军官服役条例》。两年后，军委正式作出恢复军衔制的决定。
但横亘在面前的一道难题是军队的遗留问题很多，如体制不顺、干部超编、年龄老化、官兵比例不合理等。针对上述情况，军委决定在精简整编之后再进行恢复军衔的工作。1982年起，军委撤销了铁道兵和基建工程兵，将炮兵、装甲兵、工程兵划归为总参二级部，并对军、师级领导班子进行大幅调整。
1983年，军委成立恢复军衔制领导小组，5名开国上将我负责召集，这意味着军衔恢复工作正式启动。全军恢复军衔制领导小组下设办公室，也就是军衔办。
军衔办成立以来，面临的一个难题是最高军衔是什么！元帅吗？显然不合适！大将？这个好像也不行。到了80年代，在战争期间有卓越功勋的高级将领不少已经离世，在世的年事也已高，不在授衔挂帅之列。当时在位的军以下干部大多都是和平时期成长起来的，军功无法与战争时期的将领相提并论。因此起草《军官服役条例》时，许多人不主张设高衔，也就是不设元帅和大将。
最后，最高首长一锤定音：和平年代，军衔最高设到上将！
于是，军衔办就有了美学的目标，：取消元帅、大将和大尉军衔，军官军衔设置变成3等11级。
不过即下来，还有一个难题--地方上的党委第一***要不要授军衔？地方党委第一***不再授衔在讨论军衔问题时，军委接到一位老将军的电报，建议凡是地方党委***，如省(市)委、地(县)委第一***兼军职的都应该着军装，言下之意亦可授军衔。
