لقد مرض الخطيب رحمه الله في نصف رمضان من سنة (463هـ) في حجرته، ولما أحس بدنو أجله وكان عنده شيءٌ من المال والثياب أراد أن يوزع ذلك قبل أن يموت، ولم يكن له زوجة ولا أولاد، ولا عقب ولا وارث؛ فلعله أراد أن يختم حياته بالتصدق بما عنده من أموال، ففرقها على أصحاب الحديث، وكانت كل ممتلكاته مائتي دينار، وكّل في توزيعها أبا الفضل بن خيرون، فوزعها في حياة الخطيب، وأوصى بأن يتصدق بجميع ثيابه وما يملكه من أشياء بعد وفاته، وجعل جميع كتبه ومصنفاته وقفًا على المسلمين، واشتد المرض به في أوائل ذي الحجة سنة (463هـ) حتى توفي في ضحى يوم الاثنين السابع من ذي الحجة في تلك السنة، رحمه الله تعالى ورضي عنه وأرضاه، وامتدت فترة مرضه من رمضان إلى سبع ذي الحجة، وكان اشتداد المرض في أوائل ذي الحجة، والوفاة في السابع من هذا الشهر.
بوفاته رحمه الله تعالى طويت صفحة عظيمة من صفحات علم الحديث التي ذهب فيها هذا العالم الكبير إلى ربه سبحانه وتعالى، وكان على أخلاقٍ عظيمة وعبادةٍ كبيرة، وعفةٍ متناهية، فإنه لم يتزلف إلى سلطانٍ، ولم يتولَّى منصبًا قط، لا قاضيًا ولا مفتيًا، مع أنه كان أهلًا لذلك، ولم تكن المناصب لتمتنع عليه، لو أنه سعى إليها وأرادها، لكنه اختار أن يبقى بعيدًا عن فتنة الوجاهة، ورضي بالكفاف من العيش، ولم يكن له خدمٌ ولا جوارٍ، ولعلّ الرحلة في طلب العلم لم تسعفه في الزواج، فتوفي رحمه الله وخلف أولادًا مخلدين من المصنفات التي ألفها.