據《足本中山全書》中記載：

有一天，孫中山和幾個同伴走進鄉(xiāng)廟，有的同伴提議向神像跪拜。孫中山卻一直走進去握住了北帝神像的木手，大聲地說道：“我們?yōu)槭裁淳炊Y這個木偶？他們自己還不能幫助自己。誰說他能幫助我們？現(xiàn)在看我拉掉他的手指，他能不能阻擋我？”于是，孫中山把北帝的手指一拉，拉斷了。孫中山握住北帝的手指向同伴說道：“現(xiàn)在你們看見這樣的保護鄉(xiāng)村的神道了！我折了他的手指他還照舊笑。這樣的神道來保護我鄉(xiāng)村？”

經過這件事情，孫中山再也無法在村中待下去了，只好再次離開家鄉(xiāng)去了香港。

1883年11月，孫中山進入香港拔萃書室（Diocesan Home，Hong Kong）讀書，但不到兩個月的時間，他就退了學。翌年4月，他轉學至香港中央書院（The Central School），但不久，他就又退出了該校，回鄉(xiāng)與同縣外堂村盧耀顯的女兒盧慕貞結婚。之后，他又再赴檀香山。

孫中山此次在香港的短暫求學時光，所學到的知識遠遠沒有香港給他的直觀印象對他的影響更大。當他抵達香港后，香港的市鎮(zhèn)建設、社會秩序、官員作風等方面都給他留下了深刻的印象，也進一步強化了他的實現(xiàn)“改良祖國”，建設一個“良好之政府”的強烈愿望。

1884年11月，孫中山接孫眉函召，在香港輟學，第二次去檀香山。不過，這次他在檀香山停留的時間非常短。據說孫中山不愿留在檀香山，主要是因為他對做生意毫無興趣，而且無法忍受孫眉對他的責打，因此決意再次回國求學。

1885年 4月，孫中山自檀香山歸國，8月，往香港中央書院復學，一年后，他從中央書院畢業(yè)。此時，孫中山面臨著一個選擇職業(yè)的問題。他原本希望中學畢業(yè)后學習陸軍、海軍或法律，但愿望均未能實現(xiàn)。最后，他決定習醫(yī)，以“借醫(yī)術為入世之媒”。這樣，1885年秋，經人介紹，孫中山進了廣州博濟醫(yī)院（Canton Hospital）學醫(yī)。課余期間，他還專門請了一位國文老師，給他補習傳統(tǒng)的經史之學。一年后，他轉學香港西醫(yī)書院（The College of Medicine for Chinese，Hong Kong）。當時，李鴻章是該校的名譽贊助人，康德黎（Dr．J．Cantlie）任該校教務長。著名改良主義思想家何啟任該校名譽秘書。這三個人對孫中山的早年人生道路都產生過不同程度的影響。在這里，孫中山結識了一批志同道合的朋友。其中著名的有陳少白、尤列、楊鶴齡，他們與孫中山一起通常被人稱為“清廷之四大寇”，因為，他們在一起經常高談闊論，主張反滿革命。

這個時期，可以說是孫中山“革命言論之時代”。