潘樂，字相貴，廣寧石門人。他家本來是廣宗的大姓，北魏時被分配鎮(zhèn)守北部邊境，因而在那里定居。父親潘永，有技藝才能，繼承了廣宗男的爵位。

　　他剛出生時，一只鳥兒落在他母親的左肩上。占卜者都說這是富貴的象征，因而取名相貴，后來名才變?yōu)樽帧ｉL大后，為人寬厚，很有膽略。最初歸附葛榮，葛榮命他為京兆王。當時，他才十九歲。葛榮失敗，他又跟隨..朱榮。被任命為別將，去討伐元顥，因立功被封為敷城縣男。

　　齊神武帝高歡任晉州刺史，命潘樂為鎮(zhèn)城將軍。后來，他跟著高歡在廣阿打敗..朱兆，被晉爵為廣宗縣伯。積累軍功，被任命為東雍州刺史。神武帝曾議論想廢去州一級的建制，潘樂認為東雍州有大河高山的險峻形勢，四境連接胡地和蜀地，是一個位置重要的地方，不可廢棄掉。所以，東雍州被保留下來。后來，他又跟著神武帝在河陰打敗北周的軍隊，并討論是否追擊。神武帝命同意追擊的人站到西邊，不同意的站在東邊，只有潘樂和劉豐站到了西邊，神武帝對他很欣賞。因為多數(shù)將領不同意，才停止追擊，改封他為金門郡公。

　　文宣帝高洋管理朝政，潘樂鎮(zhèn)守河陽，打敗北周的將領楊瞯等人。當時，文宣帝認為懷州刺史平鑒等人修筑的城池深入敵人境內，想放棄掉，潘樂認為軹關地處要塞，必須牢固防守，便進一步修理，增加兵將，而后才回來。仍鎮(zhèn)守河陽，被封為司空。北齊受東魏禪讓，潘樂晉封為爾綬，被任命為河東郡王，遷任為司徒。

　　周文帝宇文泰率軍東至崤、陜一帶，派他的行臺侯莫陳崇自齊子嶺進逼軹關。儀同楊瞯從鼓鐘道出建州，攻陷孤公戍。北齊朝廷命潘樂率大軍抵御周軍。潘樂率軍日夜兼程，到達長子，派儀同韓永興從建州西部迎擊侯莫陳崇，周軍失敗逃跑。

　　潘樂又充任南道大都督討伐侯景。他從石鱉出發(fā)，南行一百多里，到達南梁的涇州。涇州過去在石梁，侯景改稱為淮州。潘樂占領這片地方，仍建立涇州。他又領軍攻克安州一帶的土地。被任命為瀛州刺史，仍攻略在淮河、漢水之間。天保六年(555)，死在懸瓠，朝廷追贈他為假黃鉞、太師、大司馬、尚書令。