張行成別名德立，定州義豐人。年輕時把劉炫當作老師敬重，劉炫對門客說“：張行成儀態(tài)氣質穩(wěn)重正直，是將相人才?！彼鍩鄞髽I(yè)末年，被舉薦為秀才，任謁者臺散從員外郎。后來任王世充的度支尚書。王世充失敗后，張行成憑著隋朝的資歷被委任為谷熟縣尉。他家境貧寒，代替掌管計簿的官吏留在京城，參加朝廷殿試中乙科進士，改任陳倉縣尉。

　　高祖李淵對吏部侍郎張銳說“：如今候選官吏中難道沒有才干特別通達高深的？

　　我要重用他?！睆堜J介紹了張行成，調(diào)任富平縣主簿，獲得有才的名聲。召回朝廷任殿中侍御史，揭發(fā)彈劾官吏的過失剛直不屈。太宗李世民認為他有才干，對房玄齡說“：從古到今使用人才不曾不靠別人介紹，像張行成，我自己推薦他，不必事先介紹?！?br />
　　有一次陪同太宗宴飲，太宗談論山東人和關中人，言語之間對他們各有褒貶。張行成說“：國君把天下當作自己的家庭，不應在東邊西邊之間劃分界線，您今天是向天下臣民表明了心胸狹窄?！碧谡f好，賜給他名馬一匹、錢十萬、衣服一套。從此有了重大政務，讓他參與商議。連續(xù)升任為給事中。太宗有一次對朝臣們講“：我當國君，兼做將相的工作，豈不是搶了您諸位的聲譽？虞舜、夏禹、商湯、周武王得到了后稷、殷契、伊尹、呂尚就四海穩(wěn)定，漢高祖有了蕭何、曹參、韓信、彭越就天下太平，我是帝王將相的事都包下來了?！睆埿谐赏顺蔬f奏疏說“：隋朝無道，天下群情激憤，陛下治理亂世恢復安定，把百姓從苦難之中拯救出來，哪里是周朝、漢朝的君主臣子能相提并論的。雖是這樣，但大德含而不露，氣概廣大開闊。陛下身邊的文武官員實在是沒有將相的才能，哪里用得著在廣庭大眾之中跟他們比較高低，損害大國君主的尊嚴，和臣子爭功勞呢？”太宗贊許采納了他的意見。張行成改任刑部侍郎、太子少詹事。

　　太宗親征高麗時，太子駐守定州代為處理國政，對張行成說：“我這是護送您衣錦還鄉(xiāng)?。　泵钪鞴芄倮舻剿嫦鹊哪沟厣霞赖?。張行成向太子介紹了學識品行聞名的同鄉(xiāng)魏唐卿、崔寶權、馬龍駒、張君吉力，太子召見了他們，因為他們年事已高，不能擔任公務，給予了豐厚的賞賜后讓他們走了。太子派張行成到太宗的行營拜望，太宗見了高興得不得了，賞賜慰勞特別優(yōu)厚。回來之后任河南巡察大使，符合太宗旨意，升為檢校尚書左丞。這年，太宗巡視靈州，詔令皇太子陪同。張行成勸諫說“：皇太子應該留守京城代為處理朝政，督率百官每天決斷各種政務，既把京城看得重要，還向天下顯示大德?！碧谡J為這是忠言。張行成升任侍中、兼任刑部尚書。

　　高宗李治登上帝位，封張行成為北平縣公，主持編撰本朝歷史。當時晉州地震不停，高宗詢問這事的征兆，張行成回答說：“天，是陽，君主的象征；地，是陰，臣子的象征。君主應當像天體一樣運行，臣子應當像大地一樣靜止?，F(xiàn)在應當靜止的反而運動，恐怕有人通過宮廷寵信的女子請求囑托來左右朝政，大臣秘密圖謀不軌。還有各親王、公主參見侍候問安，有人會窺測可乘之機，應當明確設置防范措施。再說晉州，是陛下原來的封地，應當不讓空著發(fā)生變故，希望深思熟慮，在還沒有出現(xiàn)苗頭之前就進行杜絕?！备咦谡J為是這樣，詔令五品以上官員盡情評論朝政得失。不久授予他尚書左仆射、太子少傅官銜。永徽四年(653)，從三月到五月一直不下雨，張行成害怕了，以年老為理由請求退休，高宗行文答復說：“古人上書要求免官，違背自責的本意。這是由于我德行太少，不是您的罪過?！边€賜給他宮女、黃金器物，叫他不要再提辭職的話。張行成堅決請求退休，高宗說：“您是我的老臣，怎么能撇下我就走呢？”淚水直流。張行成驚慌恐懼，不得已又主持政務。沒有多久，死在尚書省的官署里，享年六十七歲。高宗詔令九品以上官員登門哀悼。

　　入殮時，三次派遣使者賞賜宮中衣服，宮中女官尚宮守在他家里督理喪事。追認為開府儀同三司、并州都督，用一只羊的少牢規(guī)格舉行祭奠，謚號為“定”。弘道元年(683)，朝廷詔令在高宗祠廟里設置張行成的靈位享受祭祀。

　　他有兩個同族侄兒：張易之、張昌宗。