裴遵慶的字叫少良，絳州聞喜縣人。

　　他從小刻苦學(xué)習(xí)，博覽群書，胸有才干卻含而不露，不參加科舉。年齡已大，才因上輩的功勞被任命為興寧陵丞，后調(diào)任大理丞。邊境將領(lǐng)蕭克濟督促勞役苛刻暴虐，役夫說他的壞話，有關(guān)部門要按反叛論罪，裴遵慶說：“他們講財產(chǎn)不能招兵，講勇力不能服眾，怎能造反？”因此保全了十幾族的性命。他多次升官后任吏部員外郎、判南曹。天寶年間，參加科舉的每年上萬人，裴遵慶生性能干敏捷，閱卷評選，詳細而不苛刻，當(dāng)時認為他是吏部第一人。

　　唐肅宗時，他任吏部侍郎。蕭華任宰相，多次推薦他，于是任命他為黃門侍郎、同中書門下平章事。

　　唐代宗初年，仆固懷恩不聽命令，皇帝因為裴遵慶性情寬厚又任重臣，派他帶詔書去宣詔慰問，仆固懷恩接受詔命后準(zhǔn)備進京朝拜，后被他的部將范志誠勸阻。當(dāng)時皇帝逃到陜郡，裴遵慶抽身趕赴皇帝駐地。皇帝回到京城后，提升他任太子少傅。后免職任集賢院待制，又調(diào)任吏部尚書，以尚書右仆射身份又任知選事，皇帝優(yōu)待他年邁，讓到他家里去任命官職，當(dāng)時人認為榮耀。

　　曾有同族兄弟的兒子有瘋癲病，告發(fā)他謀劃反叛，皇帝知道他是瞎說，擱置不予追究。他生性厚道正直，年老后更加謹慎。每次推薦了賢才，有來感謝他的，他認為是恥辱。勸諫被采納了，他去宮中反更謹慎了。即使是親人近侍，只知道他常寫奏疏，但不知道他說了什么。

　　大歷十年(775)他去世了，享年九十多歲。據(jù)說當(dāng)初他當(dāng)郎官時，撰寫了《王政記》，敘述古今的政治體制，有見識的人知道他有宰相的才干。