三娘也沒有什么文化，卻性情乖巧，加上一連生了幾個兒子，丈夫便寵愛之至，號“桂林一枝室主人”，并漸漸冷落了何氏。何氏長期被遺忘在冷僻的后院，實際過著分居的孤單生活，脾氣越來越壞。幼小的林徽因隨母親在冷清的后院，常常感到悲傷和困惑。梁從誡這么說他的母親林徽因：“她愛父親，卻恨他對自己母親的無情；她愛自己的母親，卻又恨她不爭氣；她以長姊真摯的感情，愛著幾個異母的弟妹，然而，那個半封建家庭中扭曲了的人際關系卻在精神上深深地傷害過她。”

生活并不總是陽光明媚，徽因的生活蒙上了一層陰影。三娘接連生了四個兒子和一個女兒，在有著傳統(tǒng)的重男輕女觀念的林長民那里，三娘和她的孩子們贏得了他的歡心。他們住在明媚寬敞的前院，這里充滿了孩子們快樂的喧鬧。徽因和母親則住在后邊一個較小的院子里。前院有弟弟妹妹們的歡笑吵鬧聲，也有父親買給三娘的很多稀奇古怪的物品?；找蚝苄〉臅r候就清楚，父親不喜歡母親。母親經常背著人流眼淚，她的心也很苦。徽因只要去過前院，回來后就會被母親數(shù)落。她數(shù)落前院也抱怨丈夫，一邊哭，一邊感嘆自己命苦，哭死掉的小女兒。

徽因的母親對林長民這第二個妾滿懷嫉妒，而林長民又毫不掩飾對程氏的偏愛，這更使徽因的母親受不了。多愁善感的徽因被夾在中間。她對母親憤怒的悄悄話表示同情，同時又愛她的父親，她喜歡同父異母的弟弟妹妹，可是她討厭他們在一起時那無盡的吵鬧和苦惱。

她是一個早熟的孩子，她的早熟可能使家中的親戚把她當成了一個成人，她因此而失去了她的童年。父親的歸來一定使她很高興，而她那敏捷、聰慧、多愁善感的性格也一定使父親對她倍加喜愛。也可能是在上海的那些年使他們越來越親近了。林徽因的早熟，除了由于她的聰慧，主要應該歸于幾乎是遭遺棄的母親給她心理蒙上的陰影。雖然她深得父親以及其他長輩的寵愛，但是，每次回到冷落的后院，面對母親陰沉怨憤的神情，她不得不過早地體會世態(tài)的炎涼。這些都根植在徽因的記憶里，對她的性格也產生了深遠的影響，直接影響著她日后的人生抉擇。

12歲的徽因落落大方，因為從小體弱多病，所以看上去很瘦，但卻亭亭玉立，纖細柔美，越來越清秀美麗，并且非常懂事。這個時候的她就已經是一個聰明、有主見、能幫助料理家務的孩子了。林長民感覺她特別貼心，當然也就對她更多了一些體貼和關愛。林家人都說，徽因是父親最喜愛的孩子。