談榮章叫道：“葉翔之是個(gè)混蛋，楊吉昌的孩子分明是他的，他污陷我，害得我每年給楊吉昌亡墳燒香?！?/p>

葉翔之說(shuō)：“你他媽的血口噴人，我跟楊吉昌啥都沒(méi)有過(guò)，哪來(lái)的孩子？”

唐縱氣得臉色慘白，正要拂袖而去，毛人鳳站起來(lái)對(duì)葉翔之和談榮章說(shuō)：“兩位要注意場(chǎng)合，不要胡鬧。”

見(jiàn)毛人鳳發(fā)話，葉翔之和談榮章立即像孩子似的一樣聽(tīng)話，安安靜靜地坐下來(lái)，會(huì)場(chǎng)再次安靜下來(lái)。此時(shí)唐縱根本沒(méi)有心思講話了，只能草草結(jié)個(gè)尾，跟大家說(shuō)一下軍統(tǒng)裁撤的事：“軍統(tǒng)局之歸并裁撤，既不是因?yàn)榇骶珠L(zhǎng)之死，也不是因?yàn)楣伯a(chǎn)黨的反對(duì)，而是由于時(shí)勢(shì)之需要而產(chǎn)生。因此，在裁并調(diào)整的時(shí)候，義利公私之分甚為重要，如果把握不住，將來(lái)是會(huì)犯嚴(yán)重的過(guò)失與危險(xiǎn)的，希望大家勿存私見(jiàn)?！比缓笏醚┌椎氖峙敛敛聊樕系暮梗瓪鉀_沖地離開(kāi)了會(huì)場(chǎng)。

這以后，唐縱丟了面子，又怯于人情輿論上的抵觸，盡量避免踏入雷池，舉凡有關(guān)改組裁并的事務(wù)，大多委托給了毛人鳳，并且唐縱對(duì)自己被任命為內(nèi)政部次長(zhǎng)兼全國(guó)警察總署署長(zhǎng)心滿意足了，并不想介入軍統(tǒng)內(nèi)部的派系斗爭(zhēng)中，于是平靜地退出了軍統(tǒng)內(nèi)部三大派別的角逐。

沒(méi)有了唐縱，湖南派頓失重心，很快分化瓦解，許多湖南派大特務(wù)紛紛投靠鄭介民、毛人鳳以求自保，湖南派不復(fù)存在了。毛人鳳儼然已經(jīng)成為軍統(tǒng)的內(nèi)當(dāng)家。

唐縱既被鄭介民和毛人鳳擠了出來(lái)，沒(méi)多久，他被任命為全國(guó)警察總署署長(zhǎng)，開(kāi)始苦心經(jīng)營(yíng)自己的警察總署。

毛人鳳后來(lái)曾這樣埋怨唐縱，說(shuō)：“唐先生只會(huì)向家里（指“軍統(tǒng)”）要東西，要去了馬臺(tái)街的房子，要去了不少的汽車(chē)，要去了中美所刑事實(shí)驗(yàn)室的全部器材，就是不肯要人！”意思是不把軍統(tǒng)的人安排在城里的警察局里任職，特別是以后唐兼了國(guó)防部保安事務(wù)局長(zhǎng)之后，也只挑了趙世瑞等幾個(gè)人去工作。從此，唐縱基本上離開(kāi)了保密局的核心崗位。后來(lái)國(guó)民黨撤退到臺(tái)灣之后，他的工作逐漸轉(zhuǎn)移到黨務(wù)方面，著有《思與行》、《美國(guó)政治與英美政黨之比較》和《黨友之理論與實(shí)踐》等書(shū)，與軍統(tǒng)再無(wú)瓜葛。