誘拐事件給卡倫家人埋下了一種“地堡心理”，讓羅伊對(duì)母親有了更強(qiáng)烈的依附感。一家人非常擔(dān)心再次出現(xiàn)此類事件，結(jié)果露易絲一直等到羅伊8歲時(shí)才送他去上學(xué)，等他開(kāi)始上課時(shí)，至少比其他同學(xué)年長(zhǎng)2歲。從他晚年講述的故事看來(lái)，卡倫似乎是一個(gè)頑固而又自傲的孩子，而且這些品質(zhì)還一直延續(xù)到他成年。由于對(duì)家庭的貧困狀況感到羞愧，他對(duì)母親講述的爺爺伊齊基爾?卡倫的風(fēng)光和戰(zhàn)前美國(guó)南部的美好回憶很是著迷，并對(duì)東部和北部的東西產(chǎn)生了一種不信任感，這種心態(tài)一直伴隨了他一生。

卡倫是個(gè)孤單的孩子，晚上都是蒙著一床毯子，帶著一盞燈、幾張地圖和幾十本書獨(dú)自待著：其中有瓦爾特·斯科特爵士（Sir Walter Scott）、托馬斯?卡萊爾（Thomas Carlyle）、莎士比亞、狄更斯、布萊克斯通等人的著作，還有許多史學(xué)著作。他夢(mèng)想著在世界各地旅游、夢(mèng)想著擁有自己的事業(yè)。他最大的夢(mèng)想，是某一天修建一處寬敞的白色農(nóng)莊，帶著門廊、格子墻和花園，就像被討厭的聯(lián)邦軍隊(duì)士兵燒毀的那種可愛(ài)的家庭莊園一樣。他向母親承諾，總有一天，他們會(huì)一起住進(jìn)這樣的房子。

他的同母異父的哥哥們都在十幾歲的時(shí)候離開(kāi)了家，卡倫12歲上5年級(jí)的時(shí)候，家里沒(méi)有錢了。他不顧母親的反對(duì)，選擇了輟學(xué)并開(kāi)始在一家糖果廠每天工作10個(gè)小時(shí)。然而，他仍然極度渴望看看外面的世界。16歲時(shí)，聽(tīng)說(shuō)父親病了，他離開(kāi)家去了達(dá)拉斯，去跟一位同父異母的妹妹住在一起，希望與父親和好。不過(guò)卻沒(méi)有什么效果。為了繼續(xù)尋找出路，卡倫參了軍，希望在美國(guó)-西班牙戰(zhàn)爭(zhēng)中效力，可是當(dāng)他的父親提醒一位軍官說(shuō)他年齡不夠時(shí)，他被軍方拒絕了。卡倫同父異母的妹妹搬家到圣安東尼奧東部德國(guó)人聚居的舒?zhèn)惐ず?，卡倫也跟了過(guò)去，在從事棉花收購(gòu)的賴?yán)值芄救温殹?8歲的時(shí)候，他對(duì)棉花行業(yè)已經(jīng)頗有了解，成了一名棉花販子，作為公司代表在各地和農(nóng)場(chǎng)主談判商討棉花收購(gòu)價(jià)格。休斯敦的一家公司雇用了他，派他到俄克拉何馬州西部的曼格姆去工作，而那里正是他那身體正在恢復(fù)中的父親定居的地方。