中国人民解放军第21军的前身是华东野战军第2纵队。该纵队是由新四军第2师和第4师的部分部队发展而来的。它的前身有一部分是土地革命战争时期的中国工农红军第28军。

　　1938年春，留在皖西北地区坚持武装斗争的红28军，改编为新四军第4支队，下辖由鄂豫皖边的红28军鄂豫边游击队编成的第7、第8、第9团、手枪团，共3100余人。3月14日，第4支队由湖北省红安县七里坪东进。4月，进至舒城、庐江、无为、桐城地区展开抗日武装斗 争。1939年5月，新四军江北指挥部成立，第4支队归其指挥。6月，第4支队整编，下辖第7、第9、第14团，后开创了以定远东南藕塘为中心的津浦路西抗日根据地；同时，以第4支队第8团为基础在安徽定远组成新四军第5支队。1941年1人，新四军江北指挥部改编组成新四军第2师。第4支队改编为第2师第4旅，第5支队改编为第2师第5旅。1945年9月第4、第5旅北上山东。

　　1945年10月，由新四军第2师第4、第5旅和第4师第9旅，在山东峰县组成新四军第2纵队，罗炳辉任司令员兼政治委员，韦国清任副司令员，赵启民任副政治委员，詹化雨任参谋长、王集成任政治部主任。辖第4、第5、第9旅，共2.4万余人。纵队成立后，归津浦前线指挥部领导，开赴津浦前线作战，参加界河、临城、枣庄等战斗，歼敌2万余人。1946年1月，改称为山东野战军第2纵队。6月，该纵队第5旅调归淮南军区建制。

　　1945年11月，以新四军第4师第11、第12旅为基础，在淮北组成华中野战军第9纵队，张震任司令员兼政治委员，饶子健任副司令员，姚运良任参谋长，王学武任政治部主任。辖6个团，共1万余人。纵队成立后，参加津浦路和陇海路东段破击作战，攻克赵墩、碾庄、八义集等车站，彻底破坏了大许家到白塔埠的铁路，给拒绝投降的日伪军以严重打击，从而使我山东、华中两大解放区连成一片。

　　1946年7月，在朝阳集战役中，第2纵队主攻，第9纵队阻援，全歼国民党军第92旅。8月，第2、第9纵队参加泗县战役，给国民党军第172师以重创；10月至11月，参加淮阴、涟水保卫战；12月参加宿北战役，协同兄弟部队全歼国民党军第69师；1947年1月参加鲁南战役，在苏北方向完成阻击国民党军第7军及第11、第74、第28师北进的任务。

　　1947年2月，第2、第9纵队在山东省郯城合编为华东野战军第2纵队，韦国清任司令员兼政治委员，张震任副司令员，康志强任副政治委员，詹化雨任参谋长，邓逸凡任政治部主任。第2纵队第4旅编为第4师，朱绍清任师长，高志荣任师政治委员；第9纵队除一部改编为淮北支队外，其余编为第5师，姚运良任师长，秦贤安任师政治委员。第2纵队第9旅编为第6师，滕海清任师长兼师政治委员。全军共2.9万余人。合编后举行白塔埠战役，歼国民党军第42集团军两个师5000人。2月中旬，在临沂附近阻援，保障莱芜战役顺利进行。4月，参加泰蒙战役，担任阻援。5月，参加孟良崮战役，在沂水西南抗击敌第7军及第83师西援。7月参加南麻、临胸战役，担任攻坚，歼国民党军第9、第11、第25、第64师和第8军各一部，共1.6万余人。

　　8月后，转战胶东地区，在胶河战役、高密攻坚、莱阳战役等战役战斗中取得重大胜利。

　　1948年2月，第2纵队奉命南下华中，与第11、第12纵队组成苏北兵团，开辟威胁敌京沪心脏地区之苏北战场。3月，攻克益林，全歼国民党军第113旅。6月，策应豫东战役，对陇海路东段新安镇、海州发起攻击，解放新安镇、海州、沭阳、灌云等地，对改变苏北战局起了重要作用。9月，参加济南战役，担任打援任务。11月，参加淮海战役，在围歼黄百韬兵团、固镇阻击战和总攻杜律明集团的作战中，共歼灭国民党军3.6万余人。

　　1949年2月，根据中央军委关于统一全军编制及部队番号的命令，第2纵队在徐州以北韩庄，改称中国人民解放军第21军，属第三野战军第7兵团建制。滕海清任军长，康志强任政治委员，高志荣任副军长，吴咏湘任参谋长，邓逸凡任政治部主任。原第4师改称第61师，胡炜任师长，王静敏任师政治委员；第5师改称第62师，周纯麟任师长，周世忠任师政治委员；第6师改称第63师，吴华夺任师长，谢锡玉任师政治委员。全军共3.6万余人。4月，该军参加渡江战役，在枞阳以东渡江，占领贵池、青阳等地。5月，解放杭州，尔后进军温州、宁波、奉化、象山等地。8月，赴临海剿匪。其间，第63师奉命入闽作战，9月归建。10月，发起温州湾战役，攻占洞头、鹿栖、大嵛山等岛屿。11月，攻击六横、桃花等岛屿。1950年3月至5月，参加舟山战役，尔后担负浙东、浙南和闽北地区的海防任务。

　　1953年3月，第21军参加中国人民志愿军入朝作战，参加金城战役等作战，在战斗中，涌现出王云阁、马天明、曹光景、葛英东等许多战斗英雄和英雄集体。朝鲜停战后，参加支援朝鲜人民的重建家园。1958年8月回国。

　　摘自天津人民出版社《中国人民解放军历史上的70个军》