توفي يعقوب بن كلس في القاهرة سنة 394 هـ (2) ، ودفن في دار العلم، وذكر أن الخليفة الفاطمي العزيز بالله عاده في مرضه، وله قول مأثور عند تلقيه خبر موته:
"وددت لو أنه يباع فابتاعه بمالي، أو يُفدى فأفتديه بولدي".
وذكرت المصادر التاريخية:
إن الناس عند وفاة يعقوب بن كلَّس تجمعوا من كل حدب وصوب لتوديعه الوداع الأخير، وعند التشييع خرج الخليفة العزيز بالله من قصره بغير موكب ولا مظلة، ومشى في جنازته كأي فرد، والناس من حوله، وكان الحزن يبدو عليه، والدموع تتساقط من عينيه، وقد اعتكف في قصره لا يستقبل أحدًا مدة ثلاثة أيام، كما أنه لم يأكل على مائدته، أو يحضرها من اعتاد حضورها... ومن الجدير بالذكر أن الناس أقاموا عند قبره مخيمات عديدة لمدة شهر كامل، وكان يتقدم الشعراء إلى قبره في كل يوم لرثائه وتعداد مآثره، وقيل أن عددهم تجاوز مائة شاعر، وكل هذا يدل على مكانته في نفس الخليفة، وفي نفس الشعب الذي أحبه وقدره.
ومهما يكن من أمر... فإن خدمات ابن كلَّس للدولة الفاطمية، لا يمكن أن يحصيها قلم، ويكفي أن يكون صاحب الرأي الأول بإعادة القائد جوهر الصقلي إلى القيادة العامة للجيش الفاطمي، بعد أن كان قد أقصي عن القيادة العامة بعهد الإمام المعز لدين الله، وبعد أن شعر بتضاعف خطر قائد القرامطة"الحسن الأعصم"الذي تحالف مع القائد التركي"أفتكين"، وانتزعا العديد من ممتلكات الفاطميين في بلاد الشام، وكان ذلك بدافع من العباسيين والحمدانيين.
ويجب أن لا يغيب عن البال بأن ابن كلَّس هو صاحب الرأي بإدخال عناصر شرقية في الجيش الفاطمي لإيجاد نوع من التوازن بالنسبة للجنود المغاربة، ومن جهة أخرى فإنه أدخل العديد من الأتراك بواسطة صهره"رشيق العزيزي"التي تولى إحدى القيادات في الجيش الفاطمي، ولعب دورًا فعالًا في حروب بلاد الشام.