荀伯玉字弄璋，廣陵人。祖父荀永，是南譙太守。父親荀闡之，是給事中。荀伯玉在宋朝做官，擔(dān)任晉安王劉子勛的鎮(zhèn)軍行參軍。泰始初年，跟隨劉子勛起事。等事敗回到京城，靠占卜掙錢為生。

　　齊高帝鎮(zhèn)守淮陰，荀伯玉擔(dān)任高帝的冠軍刑獄參軍。高帝為宋明帝所懷疑，被征調(diào)擔(dān)任黃門郎，深懷憂慮，一次他看見水澤中有一群鶴，便命筆歌詠道：“八風(fēng)舞遙翮，九野弄清音，一摧云間志，為君苑中禽。”他把詩拿給荀伯玉深入指點(diǎn)，荀伯玉勸高帝派遣幾十個(gè)騎兵進(jìn)入魏朝邊界，安頓下來，打出旗號。魏軍果然派遣了數(shù)百名游動(dòng)的騎兵在邊界上巡邏，高帝把情況上報(bào)。還怕不能留下，就讓荀伯玉占卜。荀伯玉說不能成行，而高帝終于恢復(fù)了本來的職務(wù)。由此他很受親待。高帝原來有個(gè)舊吏東莞人竺景秀曾因過錯(cuò)被囚禁在作部，高帝對荀伯玉說：“您近來看過竺景秀沒有？”回答說：“多次前去看他，對他備加責(zé)斥，他說‘如果允許我自新，一定要吞刀刮腸，飲灰洗胃’?！备叩酆軡M意他的答話，便把竺景秀放了，后來終于成為忠信之士。

　　后來他跟隨高帝回京，被任命為奉朝請。高帝讓他主持家事。武帝免去了廣興的職務(wù)回京，建了一座別宅，派人從大宅中去掘幾棵樹，荀伯玉不給，馳馬報(bào)告了高帝。高帝很稱贊他。

　　高帝做了南兗州刺史，荀伯玉隨從轉(zhuǎn)為鎮(zhèn)軍中兵參軍，兼廣陵令。起初，高帝在淮陰，荀伯玉請假回到廣陵，夢中登上了廣陵城的南樓，上面有兩個(gè)青衣小童告訴荀伯玉說：“草中肅，九五相追逐?！避鞑窨闯窍氯祟^都有草。泰始七年(471)，又夢見高帝乘船在廣陵北面的小洲，兩腋下面有翅膀而不能舒展。荀伯玉問怎么才能舒展，高帝說：“推后三年?！避鞑裨趬糁凶苑Q是咒師，共六次唾咒他，有六條龍出來，兩腋下的翅膀都舒展開了，又都合上。元徽二年(474)，高帝攻破了桂陽，威名大震，五年而廢掉了蒼梧王，他對荀伯玉說：“您的夢現(xiàn)在就要生效了。”

　　升明初年，他仍然擔(dān)任高帝的驃騎中兵參軍，兼濟(jì)陽太守。霸業(yè)建立以后，荀伯玉忠誠盡心，常常在身邊警衛(wèi)，加任他為前將軍，大受信任。齊朝建元元年(479)，被封為南豐縣子，擔(dān)任豫章王司空咨議，太守職務(wù)依舊。

　　當(dāng)時(shí)武帝在東宮，自以為年長，與高帝同創(chuàng)大業(yè)，朝廷的事情不論大小，全部專斷，有很多都違背制度。身邊人張景真被他偏狹地信任，又非常奢侈。武帝拜陵回來，張景真穿著白衣服乘坐著彩繪的小舟，坐在胡床上。觀看的人都懷疑是太子，內(nèi)外都很害怕，沒有人敢說話。驍騎將軍陳胤叔事先已經(jīng)陳述了張景真和太子前后的得失，荀伯玉趁著武帝拜陵之后，秘密啟奏，皇上大怒。豫章王蕭嶷平素就受到寵幸，正因?yàn)槲涞凼情L嫡子，又南郡王兄弟并列，所以以武帝為太子，到現(xiàn)在有了改換的意思。武帝東還，派文惠太子、聞喜公蕭子良宣讀敕令進(jìn)行詰責(zé)，并且把張景真的罪狀給他看，讓他用太子的命令把張景真抓起來殺掉。陳胤叔于是告訴武帝，都說是荀伯玉告訴皇上的。武帝擔(dān)憂恐懼，稱病一月有余?；噬系呐瓪獠幌滋焯稍谔柕?，王敬則直接進(jìn)入叩頭，啟請前往東宮以安慰太子。高帝沒有說話，王敬則于是大聲宣讀圣旨前往東宮，命令人們進(jìn)行裝束。又敕令太官設(shè)下肴饌，秘密派人報(bào)告了武帝，讓他奉迎。于是呼左右的人找好車子，高帝一點(diǎn)也沒有行動(dòng)的意思。王敬則找衣服讓高帝穿上，便拉著他坐上車子。于是便去了東宮，召見諸王宴飲，接著游了玄圃園。長沙王蕭晃抓住了華蓋，臨川王蕭映手拿著雉尾扇，聞喜公蕭子良拿著酒槍，南郡王行酒，武帝與豫章王蕭嶷以及王敬則自己捧著肴饌。高帝大飲一通，賜給武帝以下的人喝酒，都大醉盡歡，傍晚才離開。這天如果沒有王敬則，則東宮差不多就要被廢除了。

　　高帝很看重荀伯玉的盡心，越發(fā)受到信任，讓他掌管軍國秘密大事，權(quán)力超過了朝中大員。每次暫時(shí)休假，車馬盈門。他曾經(jīng)遭到母親的喪事，穿上喪服的那天，左率蕭景先、侍中王晏同車前往吊唁。五更的時(shí)候便乘上了有車衣遮蓋的巾車，離荀伯玉的宅院還有大約二里地，王侯朝士已經(jīng)站滿了巷子，到了打鼓結(jié)束的時(shí)候還沒有走到跟前，司徒褚彥回、衛(wèi)軍王儉都從后方陸續(xù)走到了前面，又倚在廳堂里呆了好久。宮中下詔派中書舍人徐希秀斷哭止客，過了好久才得以吊唁。等出來以后，二人又饑又乏，氣息細(xì)弱，切齒憤恨流于外表。第二天入宮，便說：“我們所見的二宮門和齋門跟荀伯玉家相比，正可以張羅捕雀?！苯又终f：“外面議論說，千敕萬令，不如荀公一命?！?br />
　　武帝深深怨恨荀伯玉，高帝臨死的時(shí)候，指著荀伯玉囑托給武帝。武帝即位，荀伯玉擔(dān)心害怕。皇上聽說了，因?yàn)樗驮缱嬉茫缱娴奶飿I(yè)在江西，擔(dān)心他們互相煽動(dòng)作亂，加意撫慰他們，荀伯玉才安心了。永明元年(483)他與垣崇祖一齊受到誣告而被處死，而陳胤叔為太子左率。呂文顯慨嘆說：“荀伯玉能為太祖謀劃而不能自謀，難道不是天意么！”

　　起初，荀伯玉微賤的時(shí)候，有善于看墓地風(fēng)水的人對他的父親說：“您家墓地一定會(huì)出暴貴者，只是不能長久罷了；又會(huì)出失行的女子?！避鞑衤犃苏f：“早晨聽了道，晚上死去也可以了?！辈痪?，荀伯玉的姐姐要嫁人，第二天應(yīng)當(dāng)出門，頭天晚上卻隨著別人逃去，家里的人尋找不到。后來終于出家為尼。荀伯玉也終于敗亡。