做完了這些準(zhǔn)備，黃金榮放心了。但他不曾想到，李志清在悄悄做著離開上海的準(zhǔn)備。照理說，李志清自年幼進(jìn)門，為黃家辛苦操勞多年，又做了黃金榮多年的情婦，倘若她提出去香港或者臺灣，黃金榮斷乎不會阻攔，并會留下自己晚年生活費用外，將所有錢財悉數(shù)交由李志清帶走。但李志清不曾提，她只是在杜月笙、金廷蓀等人離開上海后，悄悄問過黃金榮：

“杜家叔叔和金家叔叔他們都去了香港，為啥我們不走？”

“倘若你們小輩想走，盡可以走?！秉S金榮表示，“我已經(jīng)是快進(jìn)棺材的人了，不想將這把老骨頭拋在外鄉(xiāng)?！?

李志清不再說話。

上海解放后，局勢逐步穩(wěn)定，黃金榮見共產(chǎn)黨信守諾言，既未對他進(jìn)行制裁，也無抄家沒收財產(chǎn)的動向，遂放下心來。但是有一天，黃金榮忽然發(fā)現(xiàn)鈞培里偌大公館里好像少了些什么，等了一歇，方醒悟過來，遂覺得大約有一兩天沒有看到李志清和她的領(lǐng)養(yǎng)子即次子黃起明、養(yǎng)女黃悅明了。黃金榮趕緊差人喊來李志清的貼身娘姨，方知李志清已帶著一兒一女去了香港。

黃金榮旋即想起保險柜里的萬貫家財，到二樓密室打開保險柜一看，李志清已將大部分金銀珠寶卷走，僅給他留下極少的錢財。

“妹妹，我何嘗虧待過你，為何你要如此對待一個年過八旬的老人……”

82歲的黃金榮已經(jīng)沒有了以往的火爆，他頹坐在密室的椅子上，喋喋不休地念叨起來。

當(dāng)時黃公館上上下下人口眾多，僅鈞培里一處公館便有男女傭工30余人，賬房、秘書、門房、當(dāng)差、保鏢、司機等各司其職，另有廚司三人，打雜娘姨五六人，加上黃金榮與養(yǎng)子黃源燾一家，長孫黃起予一家，幾十口人每天的穿衣吃飯，其它應(yīng)酬的開銷，修修補補的費用，以及傭人的工錢等等，加在一起定然不是一個小數(shù)目。而他的所有物業(yè)、不動產(chǎn)已不再屬于他個人所有，亦不能從中收取任何利潤，現(xiàn)如今他等于只出不入，坐吃山空。偏生此“山”未曾吃便已被李志清掏空，黃金榮怎能不為此焦急萬分。

在此情況下，黃金榮不得不辭退一些傭人、當(dāng)差，縮減開支。同時，為了表示對人民政府的支持，黃金榮拿出5萬元買了公債。如此一來，黃公館的生活幾乎到了山窮水盡的地步。黃金榮只好派門生黃振世往返香港，找杜月笙幫忙，并打電報、掛長途向李志清要錢。最后，杜月笙讓萬墨林給黃金榮匯了5萬元用以維持生計。