香港淪陷后不久，日本當(dāng)局命令對(duì)匯豐銀行展開(kāi)清理，并勒令其職員協(xié)助。接收清理的是橫濱正金銀行，他們要求匯豐職員交出全部賬目清單。祁禮賓和較高級(jí)的職員被日本方面安排在一家名為“升華旅館”的客棧里。清理工作一直進(jìn)行到1943年。在他們住在這家旅館的18個(gè)月中，其余職員則被關(guān)在5英里外港島南面的赤柱集中營(yíng)內(nèi)。

清理開(kāi)始后，日本人在匯豐銀行金庫(kù)中發(fā)現(xiàn)一批約值億港元尚未發(fā)行的鈔票。祁禮賓等被脅迫在這些未經(jīng)簽字的鈔票上簽字畫(huà)押。一個(gè)多億港元的鈔票一經(jīng)簽字，日本人立即將它們發(fā)行。這批“迫簽紙幣”后來(lái)成為匯豐銀行戰(zhàn)后所必須面對(duì)的一個(gè)問(wèn)題。

祁禮賓和他的高級(jí)助手們被迫幫助日本人一道清理有關(guān)的銀行事務(wù)。然而，他們并不都甘于忍受，兩名高級(jí)職員芬尼克和莫里遜，便在1942年10月中旬設(shè)法逃出。

莫里遜在后來(lái)撰寫(xiě)的一篇?dú)v險(xiǎn)記中，詳細(xì)敘述了他們出逃的經(jīng)過(guò)：1942年10月18日晚6點(diǎn)半，他們?cè)O(shè)法避開(kāi)警衛(wèi)，走出升華旅館，乘電車到達(dá)北角。在那里，一艘正在等候的船帶他們到達(dá)對(duì)岸的九龍，在一個(gè)羅姓中國(guó)軍人的引導(dǎo)下，啟程前往蔣介石政府所轄地區(qū)。在中國(guó)游擊隊(duì)的協(xié)助下，他們通過(guò)日占區(qū)，直至進(jìn)入桂林。在那里，他們收到了已獲悉他們出逃消息的摩爾斯的賀電。之后，他們從桂林飛往重慶，再?gòu)哪抢镲w越駝峰到達(dá)印度。4個(gè)月后，即1943年2月18日，摩爾斯寫(xiě)信說(shuō)，從香港逃出的芬尼克和莫里遜到達(dá)倫敦，并已告訴他有關(guān)被拘留的香港職工的一切情況。

在升華旅館的匯豐銀行高級(jí)職員們還設(shè)法弄到了一筆數(shù)目不小的錢(qián)。因?yàn)榇蟛糠致殕T及其家屬被拘留在赤柱集中營(yíng)內(nèi)，無(wú)法與外界接觸。這筆錢(qián)正好可以幫助他們補(bǔ)充生活必需品。時(shí)任匯豐香港出納主任的愛(ài)德華（）后來(lái)回憶說(shuō)：“一部分相當(dāng)可觀的錢(qián)是從我們的中國(guó)朋友們那里募來(lái)的。我相信總數(shù)約有港幣200萬(wàn)元?！?/p>

如何偷偷把錢(qián)送進(jìn)赤柱集中營(yíng)是一個(gè)問(wèn)題，因?yàn)橐瓦_(dá)的東西必須向日本人申報(bào)。不過(guò)，他們總會(huì)想到辦法。就這樣，祁禮賓和他的助手們時(shí)時(shí)接濟(jì)被關(guān)押在赤柱集中營(yíng)內(nèi)的匯豐職員及其家屬。

不幸的是，1943年2月，日本人終于發(fā)現(xiàn)了這些情況。幾天后，當(dāng)祁禮賓得知日本人已就他們?nèi)绾闻竭@筆錢(qián)正對(duì)匯豐職員塔爾博特醫(yī)生展開(kāi)偵詢時(shí)，作為一行之長(zhǎng)，他想最好的辦法是自己去找外事部的頭目小田解釋。

2月23日，在另一職員史去非的陪同下，祁禮賓見(jiàn)到了小田。他對(duì)小田說(shuō)，一些中國(guó)的同情者和幾個(gè)美國(guó)人給了他這筆錢(qián)，于是他請(qǐng)塔爾博特醫(yī)生去將錢(qián)分給匯豐銀行的被拘留者。史去非事后寫(xiě)道：小田在訓(xùn)了我們一頓之后說(shuō)，這是一個(gè)嚴(yán)重事件。

3月17日，祁禮賓和史去非被帶到憲兵司令部接受盤(pán)問(wèn)，直至3月24日。之后，他們被關(guān)進(jìn)牢房。20天后，被拉到與赤柱集中營(yíng)鄰近的赤柱監(jiān)獄，等候?qū)徟?。史去非?xiě)道：1943年6月30日，我們“（早晨）八時(shí)從囚監(jiān)中提出，給吃了一碗米飯，用手銬銬在一起，由日本和印度衛(wèi)兵押送，用一輛裝蓋小卡車載到香港的最高法院” 。

判決書(shū)下來(lái)了，他們被判處3個(gè)月徒刑，并被派去做花匠。從來(lái)沒(méi)有干過(guò)粗活、過(guò)著如此食不果腹的生活，更不用說(shuō)心靈所遭受的折磨，62歲的祁禮賓終于支撐不住，于8月21日因病去世。一年后，匯豐銀行候任繼位人、在獄中的匯豐銀行第二把手艾文遜也因營(yíng)養(yǎng)不良死去。