在集中力量搞總路線宣傳提綱的時(shí)候，憲法的起草已經(jīng)開始準(zhǔn)備，中央人民政府辦公廳編輯了四本《憲法選舉法資料匯編》，陳伯達(dá)在11月至12月間寫出了一份憲法草稿。

1953年12月24日下午3時(shí)，胡喬木跟隨毛澤東乘專列離開北京，同去的還有憲法起草小組另外兩位成員陳伯達(dá)、田家英和負(fù)責(zé)安全保衛(wèi)工作的羅瑞卿（時(shí)任公安部部長(zhǎng)）。毛澤東一行在27日夜到達(dá)西湖邊的杭州，開始從事這項(xiàng)奠定新中國(guó)民主與法制基礎(chǔ)的千秋偉業(yè)——起草中華人民共和國(guó)憲法。

毛澤東住在劉莊（今西湖國(guó)賓館）一號(hào)樓。胡喬木等憲法起草小組成員住宿和辦公地點(diǎn)安排在北山路84號(hào)大院30號(hào)樓。毛澤東辦公在30號(hào)樓的平房。通常每天下午3點(diǎn)，毛澤東驅(qū)車?yán)@道西山路，穿過岳王廟，來到北山84號(hào)大院。在30號(hào)樓平房，或開會(huì)討論，或執(zhí)筆修改。

胡喬木青少年時(shí)代就從父親的藏書中讀過《世界現(xiàn)行憲法》等著作，在這方面有些知識(shí)積累；1949年參加起草《共同綱領(lǐng)》時(shí)對(duì)各種憲法又進(jìn)行過一些研究，形成比較系統(tǒng)的見解。這次為起草中華人民共和國(guó)憲法，他又認(rèn)真研讀了各種類型的憲法，包括：1918年蘇俄憲法、1936年蘇聯(lián)憲法；《人民民主國(guó)家憲法匯編》（人民出版社出版）中輯錄的羅馬尼亞、波蘭、捷克斯洛伐克、德意志民主共和國(guó)等各人民民主國(guó)家的憲法；法國(guó)1946年憲法（代表較進(jìn)步較完整的資產(chǎn)階級(jí)內(nèi)閣制）；中國(guó)從清朝以來的歷次憲法（包括有憲法作用的“條規(guī)”“約法”）：清朝宣統(tǒng)三年（1911）的《十九信條》，民國(guó)元年孫中山頒布的《中華民國(guó)臨時(shí)約法》，1913年的《天壇憲法草案》（代表內(nèi)閣制），1923年的曹錕憲法（代表聯(lián)省自治制），1931年蔣介石的《中華民國(guó)訓(xùn)政時(shí)期約法》，1946年蔣介石憲法（代表總統(tǒng)獨(dú)裁制）。對(duì)在《共同綱領(lǐng)》之后制定的這部新中國(guó)憲法，應(yīng)該是一部怎樣的憲法，在胡喬木的心里，是有一些設(shè)想的。他看了陳伯達(dá)起草的憲法草稿，覺得問題太多了。田家英也有同感。

在毛澤東召集的第一次起草小組會(huì)上，胡喬木對(duì)陳伯達(dá)起草的憲法草稿提了許多修改意見，陳伯達(dá)很不高興。會(huì)后，陳把氣出到田家英頭上，對(duì)田發(fā)火說，任何人不經(jīng)他許可，不得在主席面前議論他所起草的那個(gè)稿子。以后再開會(huì)討論，田家英只得把胡喬木和他要提的意見先向陳伯達(dá)匯報(bào)。同去的羅瑞卿后來也參加了討論，他沒有顧忌，直截了當(dāng)?shù)嘏u(píng)陳伯達(dá)的稿子。更為重要的是，毛澤東對(duì)陳伯達(dá)的草稿很不滿意，在許多重大問題上當(dāng)面提出種種修改意見。幾次討論下來，胡喬木和田家英便把起草憲法的具體工作擔(dān)當(dāng)起來了。

從1954年1月9日開始，毛澤東領(lǐng)導(dǎo)憲法起草小組重新起草。毛澤東有一個(gè)比較具體的計(jì)劃：爭(zhēng)取在1月31日完成憲法草案初稿，隨即送中央各同志閱看；準(zhǔn)備在2月上半月將初稿復(fù)議一次，請(qǐng)鄧小平、李維漢兩同志參加。然后提交政治局（及在京各中央委員）討論作初步通過；3月初提交憲法起草委員會(huì)討論，在3月份內(nèi)討論完畢并初步通過；4月內(nèi)再由憲法起草小組審議修正，再提政治局討論，再交憲法起草委員會(huì)通過；5月1日由憲法起草委員會(huì)將憲法草案公布，交全國(guó)人民討論四個(gè)月；9月間根據(jù)全民討論意見作必要修正后提交全國(guó)人民代表大會(huì)作最后通過。

根據(jù)毛澤東的這個(gè)時(shí)間表，胡喬木等在北山30號(hào)樓加緊研究和起草，往往一干就是一個(gè)通宵。即使如此努力，重寫初稿的任務(wù)比原定計(jì)劃還是推遲了半個(gè)月，在2月中旬才將初稿寫成。毛澤東立即派專人于18日乘火車把憲法初稿清樣（油印打字稿）送往北京，并在2月17日晚10點(diǎn)給劉少奇并書記處各同志發(fā)去一份電報(bào)，對(duì)后續(xù)工作進(jìn)行具體布置。