羊玄保，泰山南城人。祖父羊楷，是晉朝的尚書都官郎。父親羊綏，是中書侍郎。

　　羊玄保開始擔(dān)任宋武帝的鎮(zhèn)軍參軍，少帝景平年間(423～424)，逐步升遷為司徒右長史。衛(wèi)將軍王弘對他十分器重，曾對左長史庾登之、吏部尚書王準(zhǔn)之說：“你們二位賢士聰明俊朗，很多東西可以會悟通達(dá)，然而寬弘美好的聲望，自然應(yīng)當(dāng)共同推重羊君。”不久，入朝擔(dān)任黃門侍郎。

　　羊玄保善于下棋，品第居第三。文帝也好下棋，和他用郡官做賭注，結(jié)果羊玄保戰(zhàn)勝，所以便讓他補任了宣城太守。在此以前劉式之為宣城訂立了官吏對付叛逃的政策，一個人如果不能抓到，就以公文通知伍、里的官吏扭送州郡的有關(guān)部門，能抓到此人的人賞官位二級。羊玄保認(rèn)為這樣做很不恰當(dāng)，議論道：“臣探討叛逃的緣由，都是出于極端的逼迫?，F(xiàn)在訂立了特殊的政策，對于現(xiàn)實十分苛苦。又考慮這個政策僅只是在一個地區(qū)實施，如果它是正確的，則應(yīng)該與天下統(tǒng)一起來；如果它是不正確的，那就也不應(yīng)該在一個郡中單獨實行?！睆拇嗽t令停止那項政策。

　　他曾歷任丹陽尹、會稽太守、太常、吳郡太守。文帝因為羊玄保廉潔樸素沒有貪欲，所以頻頻地安排他在名郡任職。為政雖然沒有特殊的治績，而離開以后通常一定被人思念。他不經(jīng)營錢財利益，家產(chǎn)儉省微薄。文帝曾經(jīng)說：“一個人做官不僅必須要有才干，也必須要有運氣。每次有了好的官位出缺，我不曾不先想起羊玄保?！痹獌篡繌s君自立，讓他做吏部尚書，兼任國子祭酒。到了孝武帝入京討伐，朝中人士大多向南逃走，劉劭把官員們?nèi)空偌^來，橫握鋼刀憤怒地說：“你們都可以走了?！贝蠹叶己芎ε?，沒有人敢說話。羊玄保面不改色，慢慢地說道：“臣愿意以死報效朝廷?！眲③恳虼硕徍拖聛怼?br />
　　孝武帝即位，任命他為金紫光祿大夫，以謹(jǐn)慎恭敬受到重視。大明五年(461)，升任散騎常侍、特進(jìn)。羊玄保從少年到老年，對祭奠非常謹(jǐn)慎，四季的珍奇新鮮出產(chǎn)，凡是沒有經(jīng)過祭獻(xiàn)的，自己決不先嘗。死后，追加謚號為定子。

　　他的兒子羊戎少年有才氣，但卻人品輕薄，行為很不檢點，說話好用雙聲。江夏王劉義恭曾經(jīng)設(shè)齋，讓羊戎放好座位，過了一會兒江夏王出去了，因為座位太窄，他便自己把它拉寬。羊戎說：“官家狹窄，令人討厭，要再加寬八分?！苯耐跣χf：“卿哪里是只善于雙聲，乃是一位善辯之士哩?！蔽牡酆门c羊玄保下棋，有一次一個宮使前來，羊玄保說：“今天皇上為什么要召見我？”羊戎說：“金溝清淺，銅池碧波，光景美好，該是下棋。”羊玄保常常嫌他輕狂，說“這孩子一定會毀掉我家”。羊戎官居通直郎，因為與王僧達(dá)一道毀謗當(dāng)朝政治，被賜命自殺。死后，孝武帝引見羊玄保，羊玄保謝罪說：“臣沒有金日石單的明察，因此辜負(fù)了皇上?！被噬虾苜澝浪脑?。羊戎有兩個弟弟，文帝一起賜名叫羊咸、羊粲，對羊玄保說：“希望能讓你的兩個兒子有正始時代的林下余風(fēng)?！?br />
　　羊玄保善于下棋，而何尚之也極愛這種游戲。吳郡的褚胤七歲時便進(jìn)入了高品級，等他長大，為當(dāng)時的冠軍。褚胤的父親褚榮期與臧質(zhì)一同叛逆，褚胤應(yīng)當(dāng)隨從殺死。何尚之堅持請求說：“褚胤下棋的高妙，超過古代，冠于當(dāng)今。魏韜違犯了法令，因為才高而獲赦免，父親被殺兒子寬大處理，這種例子很多。特請給予他一個活命，使一種奇異的技藝不致斷絕?！苯Y(jié)果沒有得到批準(zhǔn)，當(dāng)時的人對此十分惋惜。