伯茂少年時(shí)，就頗有威望和影響。博覽群書，文章華麗，因被封為奉朝請(qǐng)，得以脫去布衣到朝廷做官。后來(lái)被封為中軍大將軍。

　　伯茂喜好飲酒，形跡頗為疏散狂傲，因而，長(zhǎng)久不能升遷，心情郁悶。天平二年(535)，他參加朝廷的宴會(huì)，侮辱了殿中尚書、章武王元景哲。景哲便向朝廷控告他丟掉官員的身份，與太監(jiān)在一起；用梨敲打桌案，弄臟了別人的官服；在皇宮禁庭，脫下衣服讓別人拿著。朝廷下詔將他交給有司處理，后來(lái)竟然沒有問罪。

　　伯茂晚年，狂飲無(wú)度，以至于傷身亂性，常因此引起過(guò)失。死前數(shù)日，忽然說(shuō)：我得到密信，朝廷要逮捕我。便與他的妻子乘車西逃。后來(lái)因?yàn)樗钢鴫Ρ?，說(shuō)有官府的人來(lái)追趕，妻子才知道他精神有了毛病。死后，埋葬在家中的園子里。友人常景、李渾、王元景、盧元明、魏季景、李騫等十多人在他的墓旁擺酒祭奠，一個(gè)個(gè)痛哭流涕，邊飲邊將酒澆在地上，說(shuō)：“裴中書魂魄有靈，知道我們來(lái)看你了嗎？”每人各賦詩(shī)一首。李騫因魏收也與伯茂交誼深厚，將詩(shī)稿寄給了他。魏收當(dāng)時(shí)在晉陽(yáng)，也同他們一樣寫詩(shī)評(píng)論伯茂，其中十個(gè)字是：“臨風(fēng)想玄度，對(duì)酒思公榮?！睍r(shí)人認(rèn)為伯茂性情傲慢，魏收的詩(shī)頗能將他概括。