后來因為皇甫莊的房屋租期已滿，外婆和小舅父回到安橋頭老家，兩個外甥跟隨大舅父移居小皋埠。

小皋埠是大舅父的岳家。他的岳父名叫秦秋漁，是一個舉人，詩畫都做得好。四卷的《娛園詩存》，大部分是他的朋友們吟詠他的花園“娛園”的作品。娛園里長滿了草，顯得荒涼。但比起周家的百草園，它也自有其奇妙的所在。院子里是一個不算大的水池子，池邊是一間單面開著門窗的房子，上面掛著匾額：“潭水山房”。兩兄弟覺得這構造很有意思，因為這是家里所沒有的。

這里的孩子很多，大舅家有兒子佩紳、女兒珠，小舅家有四個女兒，琴、意、林和昭，琴與樟壽年齡相當。表兄妹們平時見面機會并不多，現(xiàn)在可以經常在一起游玩，自有許多樂趣。

娛園的主人是秦少漁，也就是大舅父的內弟，孩子們都叫他“友舅舅”。他也喜歡畫畫，樟壽算得了知己，從此就不再摹寫繡像，專跟他學繪畫了。

秦少漁藏有很多小說，多為石印鉛印。他本人看過后就隨手扔在一間小套房里，樟壽可以到那里自由翻看。不過因為扔得滿地都是，找起來比較費事，六冊八冊一部的小說，湊齊了很難。但樟壽很愿意把工夫用在這里。他從中得到不少益處。以前在家只見過普通的幾種小說，如《三國演義》、《西游記》、《鏡花緣》、《封神榜》之類，在這里，他看到《紅樓夢》和各種續(xù)《紅樓夢》的書，還有各種各樣的俠義小說。

游娛園、看小說，自然是快樂的。但也有不方便的時候。年齡大一些的樟壽就能感覺得到，住的時間長了，便是很近的親戚也有不耐煩的地方。大概是嫌他們兄弟像乞食者似的賴在這里，還有不知禮貌的孩子竟直接說出來了。

無論是掛在臉上，還是脫口說出，老二不解事，便不以為然，老大就敏銳地感受到寄人籬下的屈辱了。

他們在外住了大約半年，第二年夏天，因為父母覺得孩子們已經不可能因科場案受牽累，就把兩兄弟接回了家。

新臺門籠罩在一種哀痛、沒落的氛圍中，人人無精打采。大家心里都明白，周家從此必須習慣在屈辱和困苦中度日。

老大和老二繼續(xù)讀書。三兄弟都培養(yǎng)了買書的愛好。老大買的最多的還是畫譜，陸續(xù)買了《海上名人畫譜》、《點石齋叢畫》、《阜長畫譜》、《椒石畫譜》、《百將圖》、《古今名人畫譜》、《天下名山圖詠》、《梅嶺百鳥畫譜》，還有四集的《芥子園畫譜》。

兄弟們對圖書極為珍愛，容不得折痕和污點。每逢晚上，便到了孩子們讀書用功的時候。老大知道節(jié)儉，為了省燈油，他就到母親的房里，把桌子擦得干干凈凈的，拿出他心愛的藏書來翻看。他看書之前一定要檢查一下手指是不是干凈，翻書的時候也是用指頭拿住書頁折縫上端有墨線的地方，絕對不用指甲在書上刮過去，使書的一角翹起來。幾個弟弟可以在一旁看，但不允許向書上摸，弄臟了他是要生氣的。因為木箱容易生蟲，母親特意將床頭的一只紅皮箱騰出來給他存書。老大對書籍簡直有潔癖，有時買了書回來，看到有一頁上字不清或者紙不夠白凈，他不嫌路遠，拿了書去店里調換。有一次書店的老板被找得不耐煩了，諷刺他說：“這書的紙比大姑娘的臉還白呢?！彼苌鷼?，從此再也不去那家書店買書。

紹興有不少刻書鋪，工人們在里面刻字刻圖，老大喜歡進去看這手藝，久而久之，自己也養(yǎng)成了動手的習慣和精細的鑒賞力。他包書包得好，讓兩個兄弟欽佩不已，就是他從書坊工人那里學來的。后來因為財力有限，兄弟們經常買些舊書。一般舊書封面總是有些臟破，需要改換，或者拆開重新裝訂，這一套手藝老大也很精通。

家庭的經濟條件日益衰敗下去。安頓了祖父在杭州的生活，家底也基本上空了。身體衰弱的周伯宜，想到前途一片黑暗，就越發(fā)地沒有好脾氣。家人都看著他的臉色，不敢惹他生氣，尤其是母親，更加體貼父親的心情。甲午年又逢大考，母親及早把父親的考籃收起來，把考試用的作文范本《經策統(tǒng)纂》也藏起來，她怕丈夫看了傷心。