黃金榮退休以后，除了每天在家中抽抽大煙，聊聊閑天，便是孵孵混堂，打打銅旗。早前的老弟兄都有自家的場面，除了金廷蓀經(jīng)常到黃公館打銅旗，像馬祥生、顧掌生等也并不是經(jīng)常走動。而黃金榮卻偏生挑杜月笙的不是，只消看到金廷蓀，便會念叨：

“還是金老三不忘本，還跟以前一樣，天天來上班。不像月笙那孤小人，完全不當我是回事！”

此話傳到杜月笙耳中，哈哈一笑。常言說“老小老小，越老越小”，杜月笙將一切歸咎于黃老板的“小囝脾氣”；也不排除有些人存心挑撥離間，總之杜月笙全沒當回事。

1932年，杜月笙成立“恒社”，社會地位大大提高，杜門弟子自然也跟著威風起來。黃門弟子看著眼熱，尤其陳培德等人，更是在黃金榮耳邊煽風，說盡杜月笙和陸京士的壞話，使得黃金榮對杜月笙的成見越來越深，最終決定成立“忠信社”與杜門力量抗衡。

忠信社成立于1936年夏，主要活動為：每周日到黃家花園聚會聚餐，商討搞垮恒社的辦法。后來，恒社發(fā)展勢頭猛烈，忠信社應付不來，便和楊虎的興中社結盟，當時定下的行動方案是：拉攏恒社活躍分子脫離杜黨，削弱恒社實力；同時搜集杜月笙在政治上的劣跡，作為密告材料，由黃金榮呈交蔣介石。

然而，他們既無法拉攏恒社的活躍分子，又搜集不到杜月笙的劣跡，工作久久得不到進展。不久，“八·一三”淞滬之戰(zhàn)爆發(fā)，忠信社便無疾而終了。

抗戰(zhàn)勝利后，杜門弟子陸續(xù)從大后方返回上海，恒社重整旗鼓，勢力咄咄逼人，讓黃金榮看得很是眼紅。杜月笙本人又直接擋了黃金榮的財路，這口氣黃金榮豈能咽得下！為了與恒社抗衡，黃金榮與張德培、龔天健等弟子商量后，于1945年11月改“忠信社”為“榮社”，化暗為明。

榮社成立后，與當年的忠信社相差無多，若想抗衡或搞垮恒社，無異于天方夜譚。