他對于帝國軍隊和民族運動之間的聯(lián)系深信不疑。

然而當1939年德國以進攻波蘭開始第二次世界大戰(zhàn)的時候，施陶芬貝格感到了困惑。作為帝國軍隊的軍官他陷入了兩種感覺的斗爭中：一方面要在戰(zhàn)爭中證明作為士兵的價值 ，而另一方面他也意識到希特勒在軍隊準備并不充分的情況下實行“閃電戰(zhàn)”的危險性。

就在施陶芬貝格在是否忠于希特勒的十字路口徘徊的時候，希特勒已經(jīng)占領(lǐng)了波蘭，又于1940年初開始攻打法國，一年之后開始進軍蘇聯(lián)。

也就是在這時，施陶芬貝格第一次接觸到帝國軍隊內(nèi)部的“反對派”，對于希特勒的狂妄的口氣他們都極其反感，這也為他以后發(fā)動和團結(jié)更多的反對希特勒的高級軍官打下 了最初的思想基礎(chǔ)。

在隨后的兩年內(nèi)，希特勒的軍隊橫掃歐洲，不可一世，其間“反對派”也曾策劃過多起暗殺行動，但總是因為種種原因而未能成功，施陶芬貝格也成為“反對派”發(fā)展動員的 對象，不過直到1941年之前，他對于刺殺希特勒是否能夠改變德國的未來并不確定，所以并沒有更多地參與暗殺計劃。

與后來反對希特勒形成鮮明對比的是，在希勒特的全面戰(zhàn)爭計劃中，施陶芬貝格因為充沛的精力和工作的優(yōu)異成績反而受到了好評和嘉獎。希特勒的節(jié)節(jié)勝利讓很多高級軍官 似乎已經(jīng)聞到了“德國統(tǒng)一世界”的味道，而民間的一些反對希特勒的活動盡管有些聲勢，畢竟還不能直接接觸到“元首”。

直到希特勒將槍口掉向之前曾經(jīng)與之簽訂互不侵犯條約的蘇聯(lián)，俄羅斯的寒冬和殘酷的戰(zhàn)爭事實告訴施陶芬貝格和其他將領(lǐng)，“希勒特在濫用軍隊”。

帝國軍隊在占領(lǐng)區(qū)肆意殺害當?shù)鼐用窈酮q太人也加深了這些將領(lǐng)對于希特勒的懷疑，同時，戰(zhàn)爭也讓施陶芬貝格付出了慘痛的代價。

1943年春的一天早上，幾架美國戰(zhàn)斗機從突尼斯的一條海岸公路上空呼嘯掠過，將雨點般的子彈傾瀉在德國的一列車隊上。卡車頓時燃起了熊熊烈火，滾滾的濃煙飛散在沙漠 上空。施陶芬貝格倒在尸體堆上。