中国人民解放军第41军的前身是东北野战军第4纵队。纵队是由抗日战争初期中国共产党在胶东地区创建的几支地方武装发展起来的。

　　1937年12月，中共胶东特委书记理琪等人成立了山东人民抗日救国军第3军。1938年9月，第3军与掖县抗日游击第3支队合编为山东人民抗日游击第5支队，高锦纯任司令员，宋澄任政治委员，吴克华任副司令员，下辖6个团，共7000余人(12月，归山东纵队建制)。1939年秋，第5支队改称第5旅，吴克华任旅长，高锦纯任政治委员；同时成立新第5支队，下辖第1、第2、第3团。1942年7月，胶东军区成立。

　　1945年10月，根据中共中央关于向东北发展，并争取控制东北的战略部署，胶东军区副司令员吴克华，政治部主任彭嘉庆、副主任欧阳文率领山东解放军第6师、第6师一部及部分独立团，共1万余人(胶东军区其余部队后来发展为华东野战军第9纵队——中国人民解放军第27军)，分批从海路挺进东北，11月进至辽宁安东(今丹东)，庄河、营口等地区，编为东北人民自治军第2纵队(辖第1、第2支队，12月支队改称旅)和第3纵队(辖第4、第5旅)，归东北人民自治军辽东军区领导，担负剿匪、扩军和开辟根据地等任务。

　　1946年2月，东北人民自治军第2、第3纵队，合编为东北民主联军第4纵队，吴克华任司令员，彭嘉庆任政治委员，胡奇才任副司令员，欧阳文任副政治委员兼政治部主任，蔡正国任参谋长。

　　下辖由第2纵队第1旅改编的第10旅；由第2纵队第2旅改编的第11旅；由第3纵队改编的第12旅，全纵队共2.3万余人，属辽东(南满)军区领导。第4纵队成立后，参加3次保卫本溪作战。5月，发起鞍海战役，攻克鞍山、海城，歼国民党军第60军第184师大部，并迫使其师长潘朔端率师部及第552团起义。7月，旅改称师。10至11月，进行新开岭战役，全歼国民党军嫡系、美式机械化装备的第52军第25师8900余人，首创东北民主联军在一次战役中歼敌1个整师的最佳战果，荣获毛泽东主席、中共中央、中央军委电令嘉奖。12月至1947年4月，与第3纵队一起参加四保临江战役。5至1948年初，参加东北夏季、秋季、冬季3次攻势作战，攻克梅河口、辽阳、鞍山、营口等地。

　　1948年1月，东北民主联军第4纵队改称东北人民解放军第4纵队，属东北野战军领导。9至11月，参加辽沈战役，歼敌6000余人，保证了锦州战役的胜利。战后，第4纵队第12师第34团荣获“塔山英雄团”、第10师第28团荣获“守备英雄团”、第12师第36团荣获“白台山英雄团”、纵队炮兵团荣获“威震敌胆炮团”的光荣称号。有20多名指战员荣获“毛泽东奖章”。

　　1948年11月，根据中央军委关于统一全军编制及部队番号的命令，第4纵队改称中国人民解放军第41军，归东北野战军建制。吴克华任军长，莫文骅任政治委员，胡奇才任副军长，欧阳文任副政治委员兼政治部主任，李福泽任参谋长。所辖第10师改称第122师，田维扬任师长，吴保山任政治委员；第12师改称第123师，江燮元任师长，张秀川任政治委员。东北人民解放军独立第2师调归该军建制改称步兵第154师，左叶任师长，曹传赞任政治委员。全军共计6.4万余人。12月，第41军参加平津战役。和平解放北平后，担负北平市的警备任务。同时，奉命改编傅作义起义部队的第104军第209师。5月，该军编入第四野战军第14兵团建制。同月，于河南新乡改编国民党军第40军2万余人。8月，该军改归第四野战军第12兵团建制。9至10月，参加衡宝战役，担负正面突击任务，歼国民党军5000余人，俘第7军副军长凌云上。II至12月，参加广西战役，先后攻克全州、兴安、桂林、灵川、荔浦、蒙山等县市，歼国民党军8600余人，俘第3兵团副司令官兼第7军军长李本一。

　　1950年1月，第154师调归广西军区建制。2月，该军又改归第四野战军第15兵团建制。奉命由广西容县地区开赴广东省淡水、高要、惠阳、黄岗等地执行剿匪作战任务，并先后解放了南澳岛、南鹏岛。1951年1月，进驻潮汕地区执行保卫海防的任务。

　　中国人民解放军第41军在全国解放战争中，经历主要战役、战斗440余次，解放县以上城市30余座，涌现出“塔山英雄团”等英雄部队和鲍仁川、程远茂等一批英模人物。