南京国民政府既经重建，唐、张之变也已平息，所部均奉令整编，预备继续参加北伐。由于宁汉分裂而左右为难的川、云、贵各省，至是也表示绝对服从中央。全国除东三省、热河、察哈尔、河北等省尚为奉军所盘踞外，余概在国民政府管辖之下了。为彻底统一全国，国民政府乃决定完成北伐。
国民政府职权，名义上虽由蔡元培、李烈钧、谭延闿、张人杰、丁维汾五位常务委员负责，但是中央实际权力则操于蒋先生一人之手。然蒋先生复职伊始，为避免国人骂他是军事独裁者起见，特于南京中央政治会议中提议于广州、武汉、开封、太原设立四个“政治分会”，由李济深、李宗仁、冯玉祥、阎锡山分任政治分会主席。
中央政治会议又决定将冯、阎所部番号改为“国民革命军”。成立四个“集团军”，以资划一，并以蒋中正（兼任，何应钦代行）、冯玉祥、阎锡山、李宗仁分任第一、二、三、四集团军总司令。其余不属于四个集团军战斗序列的部队，则由国民政府直接指挥。
此项新任命的公布，表面上虽为中央政治会议所通过，事实上则为蒋先生一人所策划。当时我适因公在南京，但是我并非政治会议委员，不便参加讨论。因而在政治会议开会前，蒋先生特地约我到他官邸谈话，并告知我此项意图。这多少含有市恩之意，而四人之中，当然以我受惠最多。蒋先生事先以此告我，以为我一定受宠若惊，谁知完全出乎他的意料。
因为当蒋先生告诉我此项决策时，我一面静听，一面揣测其含义的本质。这新措施显然与蒋先生大权独揽的作风背道而驰。蒋先生何以忽然要将中央的权力分散到我们四人身上呢？他无非想利用冯、阎为北伐卖力，挥军北进击破奉军。至于我和李济深，不过是被用作陪衬而已。因冯、阎二人都是军界老前辈，资望在蒋先生之上，如番号统一，二人均将受蒋节制，颇使他自觉不安。所以蒋先生要把我超迁，与冯、阎并列，一则可以表示蒋总司令大公无私，不究资历，唯才是视；再则因为我原系他的部下，今日擢升与冯、阎平等，可对冯、阎起规范作用，使蒋总司令便于指挥。我同时想到我个人的名位，蒋先生今日与之，异日又取之，何必多此一举呢？所以我毅然表示不同意。
我对蒋先生陈述我不同意的理由，大意是说，设置政治分会的省份，概在交通便利、中央政令可以朝发夕至之区，并非中央鞭长莫及的边疆；而且政治分会的组织和权力，有甚于北洋政府的巡阅使制度，颇易形成尾大不掉之局，为国家长治久安计，似不宜有此一骈枝的机构，请慎重考虑，然后决定。
至于集团军的设置，也不必把我和冯、阎并列。在冯、阎附义之初，冯氏已自称“国民联军总司令”，阎氏也称“革命军北方总司令”。今不久即将会师燕京，数十万大军向同一战场前进，中央将各军番号划一，委冯、阎为第二、三两集团军总司令，不失为明智之举。唯我本人现任第三路军总指挥，统率战斗序列内的部队原可多可少；何况北伐已近尾声，一旦战事结束，则“总司令”、“总指挥”等战时名称，即应撤销，故不宜升我为第四集团军总司令，以免改弦更张。对我个人来说，也正符合总理昭示革命党人“要做大事，不要做大官”的遗训，请勿建议我担任此项新职务。
蒋先生却说，处今日的情势下，非如此措施不可，并说：“他们北方既有两个‘总司令’，我们南方也应有两个‘总司令’，方为公允……”蒋先生身负全国军事的重任，而私心仍存南北畛域之见，我闻言不禁毛骨悚然。蒋先生复一再声言：“你可以担任武汉政治分会主席，一定升你为第四集团军总司令。当仁不让，你不必谦辞。”可是我已决定坚持自己的意见。再三辩论，竟相持不下，颇觉难为情。
彼此默然有顷，我只好说，倘你认为政治分会必须设立，则不如请谭延闿担任主席，因为他是湖南人，德望素著，出任斯职，可谓人地两宜。蒋先生说，谭先生在中央另有借重。最后，我只得表示，中央即使公布此项新任命，我也必坚辞不就，务请从长考虑。乃辞退回寓。
次日早晨，我的副官喜气洋洋地手执两张报纸，递给我看，说：“总指挥，恭喜你高升了总司令和政治分会主席。”我展开报纸一看，果然第一页头号大字标题登载我为第四集团军总司令和武汉政治分会主席。当日许多朋友登门道贺。我内心郁郁不乐，其中苦闷，实非可为外人道的。我并非故意沽名钓誉，表示清高，其中实有难言的苦衷。嗣后，我只好一再滞留南京，不往武汉就职，表示消极的抗议。我既一再谦辞，蒋先生乃迭派吴忠信来寓敦劝。最后一次，吴忠信说：“你如不就职，蒋先生说他就不能继续北伐了。”一听此言，使我恐慌万状。在吴氏苦劝之下，我说：“吴先生，蒋总司令既把事情说得如此严重，那我不敢再推辞，只有遵命首途去就职了。”以故在冯、阎就职后一个多月，我才在汉口宣誓就任第四集团军总司令职。
我自宁返汉不久，正在整饬部队，预备北伐，蒋氏忽又派吴忠信来汉，劝我就武汉政治分会主席之职。我说：“吴先生，我是军人，对打仗尚粗有经验，对政治则既无经验，更无兴趣。并且我已转推谭组庵先生，以谭氏担任此职实最为理想。”
吴忠信说：“蒋先生一定要你做，你如不做，蒋先生说，你就是不愿意和他合作了。依我看，你还是应该和蒋先生合作的。现在其他政治分会主席都早已就职，独你不就，也容易引起外界的误会，你就立刻就职吧。”
我说：“吴先生，你提到与蒋先生合作与不合作的问题，事情太严重了，那我只有遵命就职了。”吴氏见我答应了，他也可不辱君命，当然大为高兴。
我又说：“吴先生，自古只有逼人丢官的，尚未闻有逼人做官的事，蒋总司令现在居然逼我做官，也为少有的奇闻。”我就职后，吴忠信遂欣然返南京复命。
出任武汉政治分会主席，实非我所愿，何况政治分会的设立，原就是非驴非马的制度。政治分会的权力极大，有任命所辖区内地方官吏，及处理政、军、财、教、建各要政的全权。然政治分会并非中央政府以下的二级机关，管辖地区有限，凡不属于政治分会掌握的省份，却又直属于中央，与各政治分会错综而治，形成一极奇特的政治制度，实与素主中央集权的蒋先生的意旨大相径庭。蒋先生复职后，忽然搞起这种制度来，或系一种权术的运用。因蒋氏下野之前，党内党外曾一致攻讦其为新独裁者。今番故意奠立此一分权制，或借以表白而已。
二第四集团军的编制是直辖第七、第十八、第十九军等基本部队，以及唐部改编的各军。我既担任总司令，白崇禧也奉派为第四集团军前敌总指挥。4月中旬，整编就绪，乃由白崇禧率领李品仙的第十二路军，沿京汉线北上，参加北伐。
那时，北伐战事已接近尾声（北洋军阀中所余的唯一实力派张作霖，已无心恋战，华北传檄可定）。先是，当我军于1927年底发动西征时，孙传芳残部仍在津浦线蠢动，有乘我西征时向南京发动反攻模样。军事委员会为减少后顾之忧，乃决定同时命令何应钦率第一路军，循津浦线继续北上。10月中旬，何应钦部遂向徐、蚌及淮河两岸发动攻势，并电约冯玉祥自陇海路东进，会攻孙军。
孙军一经接触即向北溃退。11月16日我第一路军遂克复蚌埠。时直鲁军张宗昌部向孙传芳增援，自徐南下反攻。双方相持经月，我第一路军卒于12月16日克复徐州，俘获甚众。以故，当我西征军事结束时，何部正抵徐州待令，北伐战事也暂告一段落。直至1928年春初，蒋总司令复职，四个集团军重行部署之后，才继续发动攻势。
完成北伐的最后阶段的战略部署，大体上是第一集团军沿津浦路北上，循泰安、济南、沧州而直薄天津。第二集团军则任京汉路以东、津浦路以西地区的攻击任务，自新乡沿彰德、大名、顺德一带北上，右与第一集团军、左与第四集团军联系，会攻京、津。第四集团军则循京汉路，经郑州、新乡，向正定、望都一带集中，直捣保定和北京。第三集团军则自太原循正太路，出娘子关，截断京汉线，北上与第四集团军会师北京。
此时敌军应战的策略，系以张宗昌的直鲁军与孙传芳残部据守津浦线，以阻截我第一集团军的北进。奉军主力则后撤，以缩短战线，并以保定为轴心，向西线集中，拟乘我第四集团军尚未到达正定时，一举将我突出的第三集团军包围歼灭，然后回师截击其他各路革命军，以达其各个击破的战略目的。
我军攻势系于1928年4月中旬发动，第一集团军贺耀组、方振武两军于5月2日克复济南。孰知日本山东驻屯军福田师团，竟出兵阻挠，围攻济南。蒋总司令不欲与日军扩大冲突，乃派交涉员蔡公时及随员十余人到福田师团部交涉，希望缓和此一严重局面，不料蔡等竟为日军所枪杀。我军迫不得已，忍辱乘夜突围。日军旋在济南城恣意捕杀平民，遭难者数千人，酿成“五三”济南惨案。第一集团军贺、方两军自济南脱险后，协同一部分友军绕道鲁西，越黄河，北进占领沧州、德州，因之颇受稽延。时我三、四两集团军已克京、津，第一集团军遂未续进。
攻势发动后，第二集团军冯玉祥部防区并无强敌，本可兼程而进，唯冯氏却稽延不进，并撤回原驻博野、安国一带的部队，仅留置少数骑兵警戒前线地区。冯军既无意急进，我第四集团军尚远在豫南，奉军乃得乘隙实行对阎锡山第三集团军的包围。5月中旬，阎部几陷入三面被围中，阎锡山见形势危急，乃电请冯玉祥迅速北上解围。孰知冯玉祥不但不派兵赴援，反而通令所部，略谓：“不遵命令擅自退却者，枪决！不遵命令擅自前进者，亦枪决！”他意在禁止其驻在京汉线上的部队擅自北上，解阎部之危。冯氏此项通令，后来在北伐军中传为笑谈。因在向敌人发动总攻时，“擅自前进者，亦枪决！”实是骇人听闻。
冯玉祥见友军危难而不救，实在出于意气用事，欲报阎锡山的旧恨。原来当1925年冬，冯军在南口战败西撤时，阎锡山曾应吴佩孚、张作霖之请，陈兵晋北，企图腰击冯军。因而冯氏怀恨在心，得机乃一泄私愤。
冯玉祥既不赴援，阎锡山在危急中无以为计，适白崇禧率叶琪第十二军乘车赶到定县、新乐一带增援。奉军由其飞机侦察，知我第四集团军已赶到，乃改变计划，向关外撤退。我军即乘势追击，于5月31日克复保定，并向北京挺进。
我第四集团军原定于4月底在武汉乘车北进，唯以车少轨坏，运输困难，乃由前敌总指挥白崇禧率第十二（叶琪）、第三十（魏益三，河南收编）、第三十六（廖磊）各军，及第八独立师（刘春荣）先期北上。经过将近一个月的运输，先头部队第十二军才抵正定附近。5月31日克复保定后，乃沿京汉路直捣北京。第三集团军也于6月1日占领宣化、花园，向怀来追击。第二集团军也向高阳、雄县、永清、固安、河间挺进。第一集团军同时占领沧州。概未发生激烈战斗。
各路大军齐头并进，孙传芳知大势已去，乃于6月3日通电下野。所部归郑俊彦统率，向革命军输诚。张作霖不敢恋栈，于孙氏下野的次日，偕吴俊升等文武官员出关，车至皇姑屯，被日军河本大佐预埋的地雷炸死。所部奉军乃由“少帅”张学良统率，继续向关外撤退。6月8日我军遂进占北京。6月11日阎锡山、白崇禧联袂进入北京。
唯此时张宗昌所部，除徐源泉率万人归顺中央外，尚有三万人稽留于冀东一带，本拟随奉军撤入东北，但是奉方因张宗昌部队纪律废弛，恐其反为东北之累，故不让张部出山海关。宗昌所部乃麇集于滦东一带，要求我军收编，同时准备作困兽斗。此时蒋总司令与我已抵北平。知该部已无可改造，乃令白崇禧率第四集团军及第二集团军鹿钟麟部、第三集团军商震部进剿。不久即全部缴械肃清，驰名一时的大军阀张宗昌遂一蹶不复起了。
在此期间，东北张学良也派遣代表入关，接洽服从国民政府。于是，东北显无用兵必要。北伐至此，乃大功告成，军事上所余的，只是一些善后问题，有待处理了。