胡藩字道序，豫章南昌人。少年時成為孤兒，居喪以哀傷聞名。太守韓伯見了他，對胡藩的叔叔尚書胡少廣說：“您的這個侄子一定會以義烈成名?！敝莞髡?，他不去上任，等二弟加冠結(jié)婚完畢，才到郗恢的軍幕中擔(dān)任參謀。當(dāng)時殷仲堪為荊州刺史，胡藩的妻兄羅企生是殷仲堪的參軍。胡藩從江陵經(jīng)過，去看望羅企生，從而勸說殷仲堪說：“桓玄的意趣沒有常性，您對他的崇信太過分了，不是迎接未來的好方法?！币笾倏昂懿桓吲d。胡藩下來后對羅企生說：“倒過戈柄來交給別人，必定會導(dǎo)致大禍，如果不早早離開，后悔就來不及了。”后來桓玄從夏口襲擊殷仲堪，胡藩參謀殷仲堪后軍軍事。殷仲堪失敗，羅企生果然因為跟從他而遭了禍患。

　　胡藩轉(zhuǎn)換職務(wù)為太尉大將軍相國參謀軍事。宋武帝起兵，桓玄戰(zhàn)敗將要逃跑。胡藩拉著馬韁說：“現(xiàn)在羽林軍的射手還有八百人，都是過去西部的義兵，一旦舍棄他們，再想回歸難道還能做得到嗎？”桓玄只是用鞭子指著天空。從此奔逃，互相失散，后來他在蕪湖追上了桓玄。桓玄見了胡藩，高興地對張須無說：“您這一州總是多出士人，今天又見到了王修?！鄙Ｂ涫『?，胡藩的軍艦被燒毀，他穿著鎧甲跳入水中，潛泳了三十來步，才得以登岸。于是回到了家中。

　　武帝平時聽說胡藩對殷仲堪直言勸告，又為桓玄盡節(jié)，便召聘他到本鎮(zhèn)軍中參謀軍事。跟隨征討慕容超，慕容超的軍隊屯聚在臨朐。胡藩告訴武帝說：“賊軍屯兵城外，留守部隊必然很少，現(xiàn)在前往攻取他的城池而斬斷他的旗幟，這便是韓信戰(zhàn)勝趙軍的辦法。”武帝便派檀韶與胡藩秘密前往，于是攻克了此城。賊軍見城池陷落，立即逃走，退軍去保廣固。武帝又把它包圍起來，將要攻下的那天夜里，忽然有一只鳥像鵝一樣大，青黑色，飛入武帝帳幕中。眾人都認(rèn)為不祥。胡藩慶賀說：“青黑，是胡虜?shù)念伾?。胡虜歸我，大吉大祥。”第二天早晨攻城，城被攻陷。他跟隨征討盧循到達左里，屢戰(zhàn)有功，被封為吳平縣五等子。

　　不久任命為鄱陽太守，跟隨討伐劉毅。起初，劉毅要去荊州，上表請求繞道東部回建鄴辭別陵墓。離都城還有幾十里，沒再前行，面向?qū)m闕叩拜。武帝前往倪塘?xí)妱⒁悖埱蟀阉麣⒌?，便對武帝說：“您認(rèn)為劉衛(wèi)軍在您以下么？”武帝說：“您以為怎樣？”他說：“要論豁達大度，功高天下，聚集百萬之眾，合乎天人愿望，劉毅當(dāng)然應(yīng)該佩服您。至于涉獵記傳，吟詠談?wù)f，自許為雄杰，進行夸口，官紳白面之士，紛紛投歸，在這方面劉毅就不肯在您之下了?！蔽涞壅f：“我與劉毅都有克復(fù)的功勞，他的罪過還沒有彰顯，不可以自相圖謀?！钡搅爽F(xiàn)在，又對胡藩說：“以前如果聽從了你在倪塘的計謀，就不需要有今天的行動了。”

　　他又跟隨征討司馬休之，做了參軍。徐逵之?dāng)⊥?，武帝非常生氣，?dāng)天就在馬頭岸渡江。江津岸邊峭壁千丈，司馬休之臨岸布陣，無法攀登。武帝叫來胡藩，命令攀登上岸，胡藩臉色猶疑。武帝發(fā)怒了，命令左右把他押來，想要斬他。胡藩不甘被殺，回過頭來說：“寧可前進而死?！北阌玫额^在岸上鑿孔，勉強容下腳指，徑直上攀，隨著攀上的人越來越多。登上以后，拼死戰(zhàn)斗，終于打敗了敵人。

　　跟隨討伐關(guān)中時，為太尉軍事參謀，統(tǒng)領(lǐng)另一支隊伍到了河?xùn)|。暴風(fēng)吹著輜重艦漂到北岸，魏軍得到了這只軍艦。胡藩十分氣憤，率領(lǐng)身邊十二人乘小船徑直前往。魏騎兵五六百人，看見胡藩前來，一齊笑他。胡藩善于騎射，登岸射擊，應(yīng)弦而倒的約有十人。魏軍通通退走，全部收復(fù)了所失的土地，然后返回。又派遣胡藩和朱超石等追魏軍到達半城，魏軍幾萬人進行合圍，胡藩和朱超石兵不滿五千，奮力作戰(zhàn)，大破了敵軍。武帝回到彭城，參與相國軍事。議論他平定司馬休之和廣固的功勞，封為陽山縣男。元嘉年間(424～453)，位居太子左衛(wèi)率。死后，謚號為壯侯。兒子胡隆世繼承了他的爵位。

　　胡藩的幾個兒子，大都不遵守法度，第十四子胡遵世伙同孔熙先謀反，文帝因為胡藩是功臣，不想暴露這件事，便讓江州官員借其他事情把他殺死。第十六子胡誕世，第十七子胡茂世，后來企圖擁戴平民劉義康，交州刺史檀和之前往豫章，將他們討平。