التحق الصاحب بن عباد بمؤيد الدولة ابن ركن الدولة البويهي أمير الري وأصفهان، وعمل له كاتبا، وظل مقدما عنده، ثم ولي له منصب الوزارة في سنة (366هـ = 976م) ، وظل في الوزارة حتى وفاة مؤيد الدولة سنة (373هـ = 983م) ، ثم أقره أخوه"فخر الدولة"على وزارته، وقد نجح الصاحب في إدارة شئون الدولة وتدبير أمورها على خير وجه، وجمع إلى جانب ما يتمتع به من ثقافة موفورة وعمل غزير وقدرة عالية على كتابة الرسائل الديوانية -كفاية حربية وموهبة عسكرية؛ فكان قائدا شجاعا حتى إنه فتح في خلال وزارته خمسين قلعة حصينة، وكان إداريا عظيما؛ فظلت الأنظمة الإدارية التي استحدثها تطبق في عهد من خلفه الوزراء.

وقد أَعْلَت هذه الملكات الخاصة من شأن الوزير النابه؛ فوثق به الأميران: مؤيد الدولة وأخوه فخر الدولة، وأطلقا يده في إدارة شئون البلاد التابعة لهما، وفرضت كفايته وخبرته احترام كبار رجال الدولة له، حتى قيل إن قواد بني بويه وحكامهم كانوا يقفون ببابه، ومن يُؤْذَن له في الدخول عليه يظن أنه قد بلغ الآمال وأقبلت عليه الدنيا.

وبلغ من علوّ مكانته وتأثيره في سياسة الدولة أن الأمير عضد الدولة أعظم أمراء دولة بني بويه كان يقول لجلسائه: إنه لا يحسد أحدا من الملوك إلا أخاه مؤيد الدولة؛ لتولي الصاحب بن عباد الوزارة له، وكان الأمير عضد الدولة - الذي كان يحكم العراق وما حولها - يخرج بنفسه لاستقبال الصاحب إذا قدم إليه؛ فقد خرج في سنة (370هـ = 980م) على رأس كبار رجال دولته إلى خارج مدينة بغداد لاستقبال الصاحب بن عباد وإكرامه.

قال أبو بكر الخوارزمي: الصاحب نشأ من الوزارة في حجرها، ودب ودرج من وكرها، ورضع أفاويق درها، وورثها عن آبائه كما قال أبو سعيد الرستمي في حقه:

ورث الوزارة كابرا عن كابر موصولة الاسناد بالإسناد

يروي عن العباس عباد وزارته وإسماعيل عن عباد