伯克希爾·哈撒韋帝國逐漸分崩離析。西伯里還在極力宣揚紡織業(yè)的光明前景，而在紐約負(fù)責(zé)推銷纖維面料的銷售人員卻認(rèn)為這是一個已經(jīng)衰敗的夕陽產(chǎn)業(yè)。有一次，伯克希爾·哈撒韋的一位推銷員和一個客戶在紐約第5 大道會面，向他推銷手絹布料。這位客戶指著窗外一位走進洛德與泰勒百貨商場（Lord & Taylor ）的女士說：“看見了嗎？所有的女性手里都拎著手袋，每個手袋里都有一盒舒潔紙巾，這就是手絹行業(yè)終結(jié)的標(biāo)志?！?/p>

到1961 年年底，伯克希爾·哈撒韋只剩下7 家工廠了。在之前的3 年中，公司共注入1 100 萬美元。盡管公司的設(shè)備性能有了提高，但是生意卻鮮有起色。公司生產(chǎn)的普通平織布料無法從激烈的競爭中脫穎而出。當(dāng)競爭對手的產(chǎn)品充斥整個市場的時候，伯克希爾·哈撒韋越發(fā)顯得孤立無助。因此，到了1962 年，也就是伯克希爾·哈撒韋完成現(xiàn)代化改造的那一年，它的運營損失竟然高達(dá)220 萬美元。

當(dāng)時，西伯里和奧蒂斯兩兄弟之間的夙仇更加激化，因為西伯里打算把職位傳給自己的兒子杰克·斯坦頓。杰克是一個高高瘦瘦、長得有棱有角的男孩，很像他父親，但他的藍(lán)色眼睛中流露出一絲憂郁。杰克步父親的后塵，在哈佛大學(xué)念了書，也參加過世界大戰(zhàn)，還曾經(jīng)在海軍陸戰(zhàn)隊的棒球隊里投出了不少好球，費城體育學(xué)院曾經(jīng)很希望把他招進學(xué)校，但是西伯里不準(zhǔn)他去。杰克是個極富責(zé)任心的孩子，他放棄了棒球，來到織布廠，“他和工人們并肩工作，弄得滿手油污”。1962 年，性格冷峻的杰克已經(jīng)是公司的總會計師了，年逾古稀的西伯里打算再工作幾年，把兒子扶上總裁的寶座。奧蒂斯和馬爾科姆·蔡斯都覺得杰克資歷不夠，于是便開始秘密地物色其他人選以取而代之。

伯克希爾·哈撒韋的股票在華爾街備受冷落。投資信息提供商價值線公司的一位證券分析師理查德·蒂利森曾在1955 年年初推薦過伯克希爾·哈撒韋的股票，當(dāng)時推薦的目標(biāo)價是每股14.75 美元。在接下來的幾年中，理查德·蒂利森也經(jīng)歷了市場供過于求以及紡織廠紛紛倒閉的艱難歲月。到了1963 年年初，伯克希爾·哈撒韋的股價已經(jīng)跌到每股8.125 美元，比理查德·蒂利森最初投資時縮水了45% 之多。

然而，這位紡織業(yè)股票分析師心中希望的火焰多年來一直都沒有熄滅。1963 年3 月，理查德·蒂利森發(fā)布分析報告，稱伯克希爾·哈撒韋公司“目前的經(jīng)營前景比之前相當(dāng)長一段時期都要好”。當(dāng)年6 月，他更是不遺余力地為伯克希爾·哈撒韋搖旗吶喊，預(yù)測公司第二季度會有一定的盈利。到了9 月，他不得不再次公開宣稱公司業(yè)績反彈尚需時日：

伯克希爾公司目前暫時還無法實現(xiàn)之前的盈利預(yù)期，因為大量的棉布制造商現(xiàn)在都已迅速轉(zhuǎn)產(chǎn)到混合纖維上來，這一趨勢導(dǎo)致市場暫時處于疲軟狀態(tài)。