1940年8月，进入陇海铁路(今兰州-连云港)以南、津浦铁路(天津-浦口)以东、淮河以北的皖东北地区的八路军部队和原在该地区的新四军部队及地方武装，统一整编为八路军第5纵队，归中共中央中原局指挥。黄克诚任司令员兼政治委员，韩振纪任参谋长，黄克诚兼任政治部主任(后吴法宪任政治部主任)，下辖由八路军苏鲁豫支队改编的第1支队(辖第1、第2、第3团)。八路军第4纵队第2旅和第4旅第7团改编的第2支队(辖第4、第5、第6团);八路军陇海南进支队和新四军第6支队第4总队改编的第3支队(辖第7、第8、第9团)和皖东北地方武装组成的皖东北保安司令部，共约2万人。1940年8、9月间，第5纵队主力东渡运河，打退