在內戰(zhàn)中受傷復員后，弗蘭克進入一家商業(yè)學校學習，然后像約翰和威廉那樣找了一份簿記員的工作。不過，他沒有像哥哥們那樣由此發(fā)達起來。弗蘭克一心想超過兩位兄長，在1870年迎娶美貌高挑的海倫·E·斯科菲爾德之后也進人煉油業(yè)，成為標準石油公司的競爭對手。斯科菲爾德家族是在克利夫蘭定居較早的家族之一，海倫的父親戚廉·斯科菲爾德是亞歷山大－斯科菲爾德公司的合伙人。這家煉油企業(yè)在1872年被約翰購并。弗蘭克居然娶了競爭對手的女兒，約翰只能把這件事視為弟弟對自己的挑戰(zhàn)。

兄弟兩人在1876年徹底反目。弗蘭克在一個議會委員會調查南方發(fā)展公司時出庭作證，聲稱約翰在并購亞歷山大一斯科菲爾德公司時使用高壓手段。弗蘭克知道報界想要得到什么，便透露一段約翰說過的威脅性話語：“我們已經與鐵路公司聯盟。我們要把克利夫蘭所有的煉油廠統統買下來！我們會給每個人一個入伙的機會，當然也會給你們機會。膽敢拒絕合作的人一定會倒霉！即使你們不賣廠子，它也會變得一文不值！”弗蘭克還聲稱別的公司也受到同樣的威脅：“在克利夫蘭大約有20家企業(yè)都是在威脅下轉手的，那兒人都會告訴你們同樣的故事。”事實上，每次發(fā)生公開沖突之后，弗蘭克總是找到約翰，說上一大堆道歉的話：“約翰，能原諒我嗎？我是個笨蛋?！边@樣悔過的一個原因可能是他一直欠著兄長的錢。

兩兄弟的謀求和解的努力屢屢以失敗告終。1872年，弗蘭克不得不退出石油業(yè)。他把自己持有的亞歷山大一斯科菲爾德公司股份變現，然后買下伊利湖上的一支船隊。為了表示和解，約翰給了他一份標準石油公司的貨運合同。弗蘭克沒有好好珍惜這個機會。有一次，標準石油公司突然急需大量船只，弗蘭克此時恰好外出打獵，而他的船隊由于管理不善而無法承擔此項任務。弗蘭克回到克利夫蘭后受到約翰的責備：“弗蘭克，再也不許發(fā)生這種事情！如果你還想好好做生意，咱們就接著干；如果不想這樣，我們就找別人！”弗蘭克忍不住吵了起來后，約翰說道：“算一算你在花在船隊的錢，給我說個數吧！”第二天，約翰買下弗蘭克在船隊的全部股份。弗蘭克以后經常在證券和期貨市場做投機生意，同生性謹慎的兄長愈加疏遠了。

讓兩兄弟關系愈加惡化的是，約翰非常憎惡弗蘭克的岳父威廉?斯科菲爾德。據說有一次約翰對山姆?安德魯斯說：“那邊，山姆，那就是斯科菲爾德。我遲早會收拾他，你就看著吧！”這是克利夫蘭煉油商J·W?福賽特告訴艾達?塔貝爾的，也許純屬謠言，因為洛克菲勒從不用這種惡狠狠的口氣，但他與斯科菲爾德的積怨非常深。標準石油公司買下亞歷山大一斯科菲爾德公司時，這家公司的所有合伙人都發(fā)誓不再進入煉油業(yè)。然而，在僅僅1年之后，斯科菲爾德就成立一家名叫斯科菲爾德－舒默－蒂格爾公司的煉油企業(yè)，這在約翰看來是背信棄義的惡劣行徑?！巴耆且蝗簭姳I，”約翰后來說，“這樣叫他們絲毫不過分。”忍耐3年之后，約翰在1876年與這個死敵達成秘密交易：他出資1萬美元，雙方聯合組建斯科菲爾德－舒默公司。他為該公司購買原油，銷售它出產的成品油，并使它享有鐵路運費折扣，條件是公司接受石油提煉配額。為完成這筆交易，洛克菲勒與這幾個秘密合作者商定使用一個特別郵政信箱傳遞消息。艾達?塔貝爾就此評論道：“事實上，走私犯或盜賊也沒法子使自己的行動比他們更隱秘！”如果洛克菲勒自以為收服了對手，就大錯特錯了。斯科菲爾德一舒默公司的成品油產量遠遠超過配額，標準石油公司不得不到法庭起訴它。1880年，一位克利夫蘭法官裁定標準石油公司敗訴，因為它對競爭對手產量的限制實際上是在限制貿易。這次的判決在當時的影響很大，但洛克菲勒在后來依舊用同樣的手段對付競爭對手。

1878年，弗蘭克與C·W·斯科非爾德和J·W?福賽特合作在克利夫蘭成立一家名為先鋒石油公司的煉油企業(yè)。受到冒犯的約翰在此時決意并購弗蘭克的公司。他通過居中傳話的威廉告訴弗蘭克，標準石油公司能夠以比他的企業(yè)低一半的成本提煉石油。約翰的威嚇最初似乎起到發(fā)作用。弗蘭克在1879年春與俄亥俄州瑪麗埃塔的幾位獨立煉油商進行接洽，而這幾個人曾經聲稱標準石油公司與鐵路公司串通一氣，試圖把它告上法庭。下屬向約翰匯報，弗蘭克就躲在一個街區(qū)之外的一家雜貨店里，正與他人試圖用法院傳票強行截住標準石油公司的管理人員。這使約翰感到極為憤怒。隨著時日的累積，兩兄弟之間的關系正在變得愈來愈糟糕。