龙潭之敌既为我全部消灭，江南遂无敌踪。9月1日我军更渡江追击。此时孙军残部已如惊弓之鸟，闻风溃退。江北浦口、扬州等要隘，一时俱克。我军复向苏北猛追，残敌望风披靡，已绝无卷土重来之力，江南遂安如磐石。
唯此时西线忽告紧张，唐生智的“东征军”分江左、江右两路东下。江左军第三十五军军长何键已于9月1日奉唐生智之命，出任“安徽省政府主席”，并委派各厅长。江右军刘兴所部第三十六军的前锋且已抵达当涂，距南京仅六十里。9月6日刘兴本人也进驻芜湖，简直有一举而下南京之势。
唐生智本与孙传芳约定东西夹击我军，然后平分东南。唯唐氏暗怀鬼胎，拟俟我军败后，收编我残部，再消灭孙军。孰知孙传芳也是一代枭雄，深知唐氏意图，故仅借唐氏东下之势，牵制我军，不待唐军到达，便先期发动攻势。冀师“先入关者为王”的故事，独吞东南。我军如被消灭，则区区唐生智实不足道了。
孙、唐两氏既同床异梦，遂为我军各个击破。孙军败后，军委会乃严令唐生智自安徽克日撤兵。唯唐氏于9月11日曾亲赴芜湖视察，仍拟伺机而动。然此时我军新克强敌，士气正旺。六朝金粉，虽使唐胡子垂涎不止，然终不敢妄动。我们闻报，曾由何应钦、白崇禧、李烈钧和我联衔，电请渠来南京一晤，唐氏也不愿东来。时我海军“决川”、“浚蜀”两舰，适在芜湖江面停泊，遂为唐氏胁迫强掳而去。
南京国府的威胁既除，宁沪路也完全修复，党中重要领袖乃仆仆于宁、沪、汉之间，谋求宁汉复合、继续北伐的大计。我们在南京，更急电汪兆铭和汉方诸领袖，克日来宁，主持大政。
当时我们在南京负责的军事首领，以及党中央无数忠实同志，都有一种相同的想法。我们认为宁汉分立的症结所在便是共产党问题，今宁方既已“清党”，汉方也已“分共”，则宁、汉便应重归于好，合而为一。南京方面成立政府原是从权，今宁汉合一，则应当仍以武汉的中央为正统。
根据这种赤胆忠心的想法，所以我们欢迎武汉的国民政府汪主席早日东下，来南京办公；蒋总司令也应早日复职，继续领导北伐。我们的意见颇获当时党内忠贞之士，乃至全国人民的同情。李济深自广州且专为此事发出通电，力劝蒋、汪化除前嫌，继续合作，领导中央。
我们这种想法，后来才逐渐发现太天真和幼稚了。当时党内的重要领袖，如汪、蒋、胡及其私人的党羽与小政客等的想法，却和我们忠实同志们完全两样。他们对党国前途根本置之脑后，一切考虑纯以个人和小团体的政治前途为出发点。
我党至此，非蒋、汪、胡三人赤诚合作，不足以谈复兴，但是他们三人相处有年，各自均深知三人绝无合作的可能，因此从未打算真正长期合作。偶尔合作，彼此都知是相互利用，得机则必然又来一个你死我活。
但是，当时使我们忠实党员们所最感痛苦的，便是他们三人的度量、德性均不足以表率全党，领袖群伦，而使党员大众一致归心。
汪兆铭仪表堂堂，满腹诗书，言谈举止，风度翩翩，使人相对，如坐春风之中。初与接触，多为折服，故颇能号召一部分青年。然汪氏黔驴之技，亦止此而已。其真正的个性，则是热衷名利，领袖欲极强，遇事又躁急冲动。欲达目的，既不择手段，也不顾信义。每临大事，复举棋不稳，心志不定。此种心神，常在会议席上充分表现。汪氏每次主持重要会议时，神志多不安定，周身摆动，两手搓个不停，一反其平时雍容和穆的风度。再者，汪的为人，亦极虚伪。凡汪氏所不喜的人赴其寓所访问，汪氏亦均屈尊接见，娓娓倾谈，状至亲昵。然客甫出门，汪便立现不愉之色，顿足唾弃。转瞬之间，态度判若两人，凡此均足以表示汪的为人。
所以吴敬恒曾骂汪是“伪君子”和“花瓶”，足见许多老同志也认为他不能负实际责任。总理在世时，汪总是受命出使四方，从未负过党政专责。但是汪氏却是个心比天高、热衷权力的人，中山逝世后，汪氏一意“左倾”，与蒋中正互为表里，不择手段地揽权夺位。谁知他的合作者蒋氏，也是个热衷权力、不择手段的人。他二人各取得党权、军权之后，竟又短兵相接，火并起来，经历多次，汪氏自知非蒋的敌手。故此次我们诚心诚意地请他留在南京主持党政，他总以为沪宁一带是蒋的老巢，上山则见虎，下泽则见蛇，断非彼久恋之乡。他如要掌握党政，必须回广东另起炉灶。这便是汪氏的基本观念，也是嗣后宁汉不能合流的基本原因。
蒋中正的为人，因其幼年混迹于上海的黑社会，颇受其熏染。对同事，御部属，一以权诈为能事。在在均使贤者裹足，壮士离心，而攀龙附凤之徒则蚁附帷幕。因此，在蒋氏独断专行之下，终使一领导革命的政党，逐渐变为争权夺利的集团。此种转变，在清党后，已日益显著。唯当时我辈仍痴心妄想促成汪、蒋合作，完成国民革命，今日回思，实不胜其叹息耳。
至于胡汉民，则确为一刚正不阿、有为有守的君子。然胡氏的器量亦极狭隘，恃才傲物，言语尖刻，绝无物与民胞的政治家风度。当时党内自元老以至普通党员，没有人对展堂先生不表示尊敬的，然也没有人觉得展堂先生足以为全党一致归心的领袖。因胡氏的天赋，为治世的循吏则有余，为乱世旋乾转坤的领袖却不足。
在这种世局人事不调和的情况下，我们一心一意想把党务国政纳入正轨的同志，均左右失其依据，而有无能为力之感。偶有主张，均必然被卷入漩涡而无法自拔。甚至昔日并肩作战、出生入死的袍泽，如第四、七两军，后来在广东亦竟至自相残杀，伤亡逾万，言之实深痛心。
二汪兆铭在我们一再电促之下，终于9月5日偕徐谦、顾孟余、何香凝、陈公博、朱培德、程潜等自武汉抵达南京。我们赤诚地欢迎他从此长住南京，主持中枢大政。此时蒋总司令如即复职，则军政恢复统一，我们便可继续北伐，直捣北京。无奈汪氏心志不定，绝不愿在南京久住。
再者，此时宁、汉破镜重圆，诚心为党为国的领袖们本当相容相让，才可化除前嫌。孰知一部分不识大体、甚或别有怀抱的党务负责人，竟于汪氏抵南京之日，遍贴反汪标语，词句极尽尖酸刻薄的能事。但是这些标语并无正式机关署名，事实上，仅是一些无头招贴。不幸汪氏正是一位极易冲动的人物，忍愤东来，其心本虚，一见这些招贴，不禁又肝火大动。
在我们欢迎他的会议席上，汪氏便质问我说：“你们既然欢迎我到南京来，为什么又要贴标语骂我呢？”
“汪先生，”我说，“谁敢贴标语骂你呢？只是宁、汉刚恢复合作，局势尚未安定，一部分下级党员，不识大体，擅自贴出这些标语来——你看这些标语，不都是不署名的吗？”
但是汪仍旧气愤不已。
我又说：“汪先生，做个政治家，有人拥护，有人反对，总是难免的。你看美国选举总统时，不是也有人反对吗？我希望你能淡然处之，并长住中央，继续领导。”
汪氏不论我如何苦口婆心地劝告，也是不听。在南京稍一勾留，便径往上海。汪氏一去，在南京的中央执监委，遂亦联袂去沪。谭延闿、孙科等且坚决邀我一同于9月9日乘宁沪车去上海。一时冠盖云集，中央执监委，乃至西山会议派诸领袖齐集上海。9月10日乃由谭、孙、汪等出面邀请在沪各同志，在戈登路伍朝枢寓所开谈话会，交换全党大团结的意见。到会者计有：汪兆铭、谭延闿、孙科、李烈钧、李宗仁、程潜、张人杰、蔡元培、吴敬恒、李煜瀛、于右任、朱培德、杨树庄、伍朝枢、褚民谊、叶楚伧、邹鲁、张继、谢持、覃振、许崇智、王伯群、傅汝霖、甘乃光、居正、刘积学、缪斌等二十余人。可说是集党中各派领袖之大成。唯胡汉民、蒋中正二人，因与汪不洽，拒不出席。
谈话会共开三天，各方均甚融洽，无大辩论。会中一致决议于三个月之内举行本党第三次全国代表大会，解决一切党内纠纷。在“三全大会”开会前，以各处代表合组的“特别委员会”为党的最高执行机关。同时宁汉两中央政府亦合并改组，由“特委会”另行选举国府委员，并委派军事委员会暨各部部长。中央政治会议则暂时撤销。
9月15日，互选结果，所有参与谈话会的各方代表均当选为特别委员会委员或候补委员。其因故未及参加的党中重要领袖蒋中正、胡汉民、李济深、白崇禧、何应钦、冯玉祥、阎锡山、唐生智等，亦均当选。
9月16日，复由特委会决议，改组宁汉双方的国民政府，并于翌日通过国府委员四十六人，以谭延闿、胡汉民、蔡元培、李烈钧、汪兆铭、于右任等人为常务委员，轮流担任主席。军事委员会也改组，蒋中正、李烈钧、李宗仁、白崇禧、冯玉祥、阎锡山、何应钦、程潜、朱培德等高级将领均当选。
特委会的成立，就事论事，本是过渡时期最适当的办法，暂时使各方有一团结的中心，以待“三全大会”的召开。所以我当时对“特别委员会”甚为拥护。
在构成“特委会”的成员中，值得特别一提的，便是所谓“西山会议派”的一群元老，如张继、林森、邹鲁、谢持、邓泽如、萧佛成等。这些都是总理同盟会时代的老同志、辛亥革命的元勋，在民国初年便享盛名。如张继在1912、1913年间便任国会议长，名满全国。这批元老因不满于容共政策，在中央颇受“左倾”分子的排挤。到总理逝世后，党权入于汪、蒋二人之手。彼二人借共产国际之助，对这批元老排斥尤力。张继等乃在北京西山碧云寺总理灵前集议，自成组织，以与广州的汪、蒋相对抗，是为“西山会议派”的由来。他们与汪、蒋表面上所争执的是共产党问题：“西山派”坚决反共，而蒋、汪则实行容共。
到宁汉分裂后，宁方亦已反共，唯蒋总司令对“西山派”公开诋毁攻讦，犹如往昔。有时在总理纪念周上，他简直把“西山派”骂得狗血喷头。
我个人对“西山派”毫无恩怨可言。因自北伐开始时，我便以纯军事人员自矢，服从命令，指挥作战。对政治既无兴趣，对党争尤感厌恶，因此对任何方面的政客都抱着“敬鬼神而远之”的态度。为避免引起不必要的误会，我对“西山会议派”也存着很大的戒心。当我们占领宁沪之初，即有人在我面前说刘峙是“西山会议派”。我说刘峙自北伐开始便一直在军中担任指挥，戎马倥偬，怎么会是“西山会议派”呢？那人说：“他的思想是‘西山会议派’！”这一顶“莫须有”的思想帽子到处乱加，真使人有啼笑皆非之感。
此次在上海，我第一次与“西山派”人士晤面。我发现他们都是一批年高德劭的老同志，为人正派，名利之心比较淡泊，颇有令人尊敬之处。这批元老对我个人素昧平生，然站在客观的立场，对我这样一位战绩辉煌而仍极守本分的将领，亦殊表敬爱之意，处处对我表示好感，存心拉拢。但我为避免党中误会，加以生性不喜与政客接近，对他们只是虚与委蛇，没有深一层的往还。其时外界不明底蕴，曾有我与“西山派”接近的传闻。事实上，若辈存心拉拢我则有之，而我却绝对无心与西山派采取任何联络。
不过在“特委会”组织过程中，“西山派”分子大为活动也系事实。因“特委会”的组织，表面上是清党后的国民党各派大团结，“西山派”以其在党内的历史与资望，在此新的大团结形成之中，必然要取得重要位置。而汪、蒋二人原均是“西山派”的死敌，今“西山派”借清党机会卷土重来，则汪、蒋均不能坐视，自是必然的道理。
以故在“特委会”成立后，“西山派”声势大张。原来希望在蒋中正下野后便可重操党权的汪兆铭，在“特委会”成立后，仅获一国府委员的空衔，而其昔日政敌，今均扶摇直上，重据要津，汪氏未免大失所望。他原为“特委会”的发起人之一，到“特委会”成立后，汪氏却一变而反对“特委会”。汪派人士也纷纷离开宁、沪，汪兆铭、顾孟余等西去汉口，陈公博则南下广州。
9月20日，特委会所选的国府委员和军委会委员在南京就职。而汪兆铭于9月21日抵达武汉，与唐生智组织武汉政治分会，竟宣布反对“特委会”。汪氏反对的呼声一出，原先便反对“西山派”的亲汪、亲蒋的各省党部，也纷纷声言反对“特委会”。特委会前途的荆棘，也就不言可知了。
三在此党内纠纷无法解决之际，参加党争的人，大半只顾目的，不择手段。流风所及，国民道德、社会风气均蒙受极不良的影响。其中最显著的一个例子，便是上海流氓社会地位的提高，终至与党国要人相颉颃。
上海原是一五洋杂处的国际都市，将近百年的帝国主义者殖民地的统治，使其畸形发展成为一世界流氓、盗匪、娼妓和投机者、冒险家的乐园。我国旧式地域中淳朴忠厚的民风固已一扫无遗，而西方民主、自由、法治的政体，以及活泼、积极的民风毫无所染。因此上海的租界遂成为一个流氓横行的地域。中国流氓作帝国主义者、不法商人和官吏的鹰犬，对中国商民极尽其鱼肉之能事。
20世纪30年代，上海流氓分青、红两大帮，最有名的流氓头为杜月笙和黄金荣。他们在租界内倚靠洋人保护，包庇烟赌、盗匪、娼妓，无恶不作。以上海租界为巢穴，青、红两帮流氓的势力简直笼罩长江中下游的所有码头。商民旅客畏之如蛇蝎。
但是在军阀时代，这批黑社会的流氓们尚有一种自卑感，不敢与正人君子和士大夫明目张胆地称兄道弟。旧时代社会上的正当绅士官商也羞与其为伍。那时纵系贪赃枉法的军阀，也向不与流氓往还，他们还多少有点旧式士大夫的头巾气。卢永祥于1922年任上海护军使时，他的儿子卢筱嘉和黄金荣曾有一段趣事：
相传卢筱嘉某次进租界看戏，见一女戏子色艺均佳，便大声喝彩。筱嘉自以为是护军使的大少爷，向一个女戏子喝彩，固为一极寻常的事，孰知他喝彩声方息，身边便走来一矮胖的中年人，指着筱嘉厉声骂道：“你是什么人，敢在此放肆！”未等筱嘉回话，他便劈劈啪啪打了筱嘉几个耳光。筱嘉正待发作，招呼便衣卫士回打，他的随员连忙上前说：“大少爷，算了，算了。”筱嘉见势不妙，乃忍气吞声地离开了。原来这个矮胖子便是大流氓头黄金荣，这女戏子就是他包起来的姘妇。慢说是护军使的少爷，就是护军使本人，也休想在租界内染指分毫。
卢筱嘉受辱之后，只好匆忙逃回闸北华界。事过不久，黄金荣因朋友请酒，到了闸北。事为卢筱嘉所悉，乃派持枪卫士十余人，将黄金荣押至护军使署。卢大公子自设法庭，验明正身，令健壮卫士将黄金荣按倒在地，棍杠交加，一顿毒打，把黄金荣打得皮开肉绽，伏地惨号乞怜。打过之后，卢筱嘉才叫卫兵把他放出去。此时黄金荣已不能行走，从护军署爬了出来，幸免于死。
黄金荣被打的消息一出，人心大快。因黄党流氓在上海一带作奸犯科，欺压善良，商民恨之入骨，而莫奈他何。今番遭此毒打，实罪有应得。此一消息，当时曾哄传国内。我们广西方面自上海回来的人，都津津乐道，引为快事。此事足征军阀时代，官方尚不屑与流氓往还，黄金荣还可随时被抓来打屁股！
后来蒋中正回到上海，流氓们的社会地位便上涨了。蒋氏于民初不遇时，曾列名黑社会，加入青帮。因其加入得迟，故“辈分”不高，上海甚多老流氓还是他的“长辈”。今番蒋氏衣锦荣归，贵为革命军总司令，他以前的“阿兄”、“阿弟”们，自然都难免有“鸡犬升天”之感。1927年夏初清党之时，蒋便利用他们以前的关系，由青、红帮流氓头代为组织工人，对付租界内的共产党。事实上，那时清党的主力还是军队，得力于流氓的究竟不多。不过他们自以为与蒋有旧，于清党更有微劳，遂居然以绅士姿态出现，周旋于党国要人之间。而我党中枢领袖，不自觉其在政府中地位的尊严，竟与这批流氓称兄道弟，不以为耻。官箴全失，斯文扫地，以视北洋军阀，犹等而下之，实堪浩叹！
我初到上海时，杜月笙、黄金荣竟然也来拜候。我一概回绝，未许入见。龙潭战后，我又因公去沪，杜、黄二人曾两度联衔请宴。我均置之不理，也未向其说明理由。我自思身为国府委员及革命军高级指挥官，忝统数十万将士，国家名器所关，何可与这批作奸犯科的黑社会中的流氓为伍！
一日，我因事去见当时的国府主席胡汉民。见胡氏办公桌上有杜、黄联衔的请柬一张，我不免诧异地问道：“展堂先生，杜月笙和黄金荣居然也来请你吃饭吗？”
胡氏说：“敷衍敷衍他们。”
我说：“你真去吗？”
“我会去的。”胡沉默了半晌，又说：“上海是他们的势力范围，不好得罪他们。”
胡氏这句话真使我冷了半截。我又问：“胡先生，难道你竟要我们的革命政府向黑社会的恶势力低头吗？”
胡说：“不过他们对我们的清党运动，多少也有点功劳！”
我对胡氏的态度真感觉失望之至。胡公此时身为国府主席，竟不顾国家元首之尊而迁就事实，可叹孰甚。
胡汉民见我态度迟疑，便劝我道：“他们最近几次请客，你都没有到。我看你也太认真了。在上海这种环境里，我们应该敷衍敷衍他们，免得让他们给别人利用了。”
胡氏的解释真使我不寒而栗！我们革命政府的作风，竟军阀之不如！
其后，杜、黄又联名请客，胡氏在赴宴时，特地叫人打电话给我，说：“胡先生已去了，请你务必就去。”我不得已，也只好乘车前去。我车到之时，中门大开，杜、黄二人均在门外迎接，执礼甚恭。他们大概认为我居然肯来，是件很难得的事。我走进餐厅，见瘦削的胡汉民，戴着眼镜，坐在上首。我立刻想到胡先生是国民政府主席，而请客的主人却是一群大流氓，我心头真有说不出的感觉。
这是我和杜月笙、黄金荣第一次见面。杜氏瘦长，黄氏矮胖。表面看来，二人均是守本分的人，不像个流氓头。据说他们在自己的流氓社会里，很讲义气，爱打抱不平，是所谓“盗亦有道”。嗣后他们曾特地来拜看我两次。他们知识甚低，说不出什么来，一口上海土话，我也不大听得懂。二人稍坐即辞去，我们遂未再见面。