張緒字思曼，是張岱哥哥的兒子。父親張演，是宋朝的太子中舍人。張緒少年知名，清簡(jiǎn)寡欲，他的堂伯張敷和叔父張鏡、堂叔張暢都認(rèn)為他很高貴奇異。張鏡把他比作樂(lè)廣，張敷稱(chēng)“與我們是同一類(lèi)人”。張暢向孝武帝推薦，任用他做尚書(shū)倉(cāng)部郎。都令史讓他詳細(xì)介紹一下郡縣儲(chǔ)米的情況，張緒肅然直視，對(duì)這些很不在意。宋明帝每次見(jiàn)到張緒，就贊嘆他的清淡。

　　調(diào)轉(zhuǎn)為太子中庶子、本州大中正，升為司徒左長(zhǎng)史。吏部尚書(shū)袁粲告訴皇帝說(shuō)：“臣看張緒有正始遺風(fēng)，應(yīng)該擔(dān)任宮中職務(wù)?！庇洲D(zhuǎn)為中庶子。后來(lái)做了侍中，調(diào)任吏部郎，參與掌管大選。元徽初年，東宮官員罷免，選曹打算讓舍人王儉為格外記室。張緒認(rèn)為王儉人才地位都很美，應(yīng)該轉(zhuǎn)為秘書(shū)丞。依從了他。張緒又調(diào)任侍中，曾經(jīng)私下對(duì)客人說(shuō)：“我一生不懂得惟諾應(yīng)承。”有人把這話告訴給了袁粲、褚彥回，由此把他調(diào)出京城去做吳郡太守，而張緒起初并不知道。

　　升明二年(478)從祠部尚書(shū)轉(zhuǎn)為齊高帝太傅長(zhǎng)史。建元元年(479)擔(dān)任中書(shū)令。張緒善于談玄，很被人敬重并覺(jué)得驚異。仆射王儉曾說(shuō)：“張緒在過(guò)江南渡的人物中沒(méi)有能比的，在北方的士人中可以尋求。不知道漢代的陳仲弓、黃叔度是否能超過(guò)他？”

　　皇帝駕臨莊嚴(yán)寺聽(tīng)僧達(dá)道人講《維摩》經(jīng)，因?yàn)樽锰h(yuǎn)聽(tīng)不到張緒說(shuō)話，皇上不便讓張緒移動(dòng)，便讓僧達(dá)道人遷移地點(diǎn)，以便接近他。當(dāng)時(shí)皇帝想任用張緒為右仆射，問(wèn)王儉的意見(jiàn)。王儉說(shuō)：“張緒少年時(shí)候就有美好的聲望，確是很好的人選。南方士人向來(lái)很少擔(dān)任這一職務(wù)?！瘪覐┗卣f(shuō)：“王儉的少年時(shí)代可能記不起來(lái)了，江東任用的陸玩、顧和，都是南方人?！蓖鮾€說(shuō)：“晉朝政治衰落，不可作為楷模?！毕惹皬埦w的幾個(gè)兒子都是輕俠，中間的兒子張充少年時(shí)又不拘小節(jié)，王儉又一次進(jìn)言，便放下了。

　　后來(lái)成立了國(guó)學(xué)，讓張緒擔(dān)任太常卿，兼國(guó)子祭酒；讓王延之代替張緒為中書(shū)令。何點(diǎn)贊嘆說(shuō)：“晉朝以子敬、季延擔(dān)任此職，現(xiàn)在以王延之、張緒擔(dān)當(dāng)，可以說(shuō)是清雅官職。以后接替的人，實(shí)在是不容易?！睆埦w長(zhǎng)于《周易》，語(yǔ)言精辟，道理深?yuàn)W，一時(shí)間被奉為宗法。他常常說(shuō)：“何平叔不懂《易》中的七個(gè)問(wèn)題。”

　　武帝即位，轉(zhuǎn)任吏部尚書(shū)，祭酒職務(wù)依舊。永明二年(484)，兼任南郡王師，加官給事中。三年，轉(zhuǎn)為太子詹事，王師、給事中職務(wù)依舊。張緒每次朝見(jiàn)，武帝目送著他，對(duì)王儉說(shuō)：“張緒因?yàn)榈匚蛔鸪缥?，我因?yàn)榈赖抡湟晱埦w?！闭{(diào)任散騎常侍、金紫光祿大夫，王師職依舊，配給親信二十人。又兼任中正。長(zhǎng)沙王蕭晃囑托選用吳郡人聞人邕為州議曹，張緒因?yàn)樗Y格不當(dāng)，堅(jiān)持不答應(yīng)。蕭晃寫(xiě)信給張緒堅(jiān)持請(qǐng)求，張緒嚴(yán)肅地對(duì)蕭晃的送信人說(shuō)：“這是我身家所在的州鄉(xiāng)，殿下怎能強(qiáng)逼？”才算罷了。

　　張緒談吐風(fēng)流，聽(tīng)的人都忘記了饑餓和疲勞，見(jiàn)到的人態(tài)度肅然如同置身于宗廟。即使終日和他住在一起，也無(wú)法測(cè)度他。劉悛任職于益州，給武帝獻(xiàn)了幾棵蜀地的柳樹(shù)，枝條很長(zhǎng)，形狀像是絲縷。當(dāng)時(shí)舊宮芳林苑剛剛建成，武帝把它們種在太昌靈和殿前，常常玩賞嗟嘆，說(shuō)：“這些楊柳風(fēng)流可愛(ài)，很像張緒當(dāng)年的樣子?！彼褪侨绱说厥艿劫p愛(ài)。王儉擔(dān)任尚書(shū)令、丹陽(yáng)尹，當(dāng)時(shí)各位令史前來(lái)拜訪，有一個(gè)令史善于俯仰，舉止美觀。王儉對(duì)他十分欣賞和驚異，問(wèn)他說(shuō)：“曾經(jīng)和誰(shuí)共過(guò)事？”回答說(shuō)：“十多歲時(shí)在張令門(mén)下?！蓖鮾€一直目送著他。當(dāng)時(shí)尹丞殷存至在座，說(shuō)：“這是康成的弟子。”

　　永明七年(489)，竟陵王蕭子良兼任國(guó)子祭酒，武帝給王晏下詔說(shuō)：“我想讓司徒辭去祭酒把它授給張緒，眾人的議論以為怎樣？”蕭子良終于沒(méi)有上任，以張緒兼任國(guó)子祭酒。

　　張緒口不言利，有財(cái)物就分散掉。端坐清談，有時(shí)一整天也不吃飯。仆人們見(jiàn)張緒餓了，就為他備飯，然而他自己卻沒(méi)有要求過(guò)。

　　死了以后，沒(méi)有房宅殯殮，他遺囑“喪事不設(shè)柳謔做棺飾，只用蘆葭。喪車(chē)?yán)`柩，靈柩上放上一杯水和香火，不設(shè)祭品”。堂弟張融很尊敬張緒，侍奉他像親兄長(zhǎng)一樣。抱著酒在張緒的靈前酌飲痛哭說(shuō)：“阿兄風(fēng)流忽然終止?！弊焚?zèng)為散騎常侍、特進(jìn)、光祿大夫，謚號(hào)簡(jiǎn)子。