كان سمعُ ثعلب قد ثقل قبل موته، وإن كانت ذاكرته لم تضعف ولا حفظه.
وقد كان سبب وفاته أنه كان في يوم جمعة قد انصرف من الجامع بعد صلاة العصر، وكان يتبعه جماعة من أصحابه إلى منزله، إلى أن صاروا إلى درب قد أسماه بناحية باب الشام، واتفق أن أحدهم كان يسير من ورائهم على دابة، وخلفه خادم له على دابة، قد قلق واضطرب، وكان في تلك العشية بيده دفتر ينظر فيه وقد شغله عما سواه، فلما سمع أصحابه صوت حوافر الدوابّ خلفهم تأخروا عن جادة الطريق، ولم يسمع أبو العباس لصممه صوت الحوافر، فصدمته دابة الخادم فسقط على رأسه في هوة من الطريق قد أخذ ترابها، فلم يقدر على القيام، فحملوه إلى منزله كالمختلط يتأوه من رأسه، وكان سبب وفاته رحمه الله.
وذلك سنة إِحْدَى وَتِسْعين وَمِائَتَيْنِ.
وقال بعضهمْ: سنة تسع وَثَمَانِينَ وَمِائَتَيْنِ.
والأول أصح وعليه الأكثر.
قال إسماعيل بْن عَلِيّ الخطبي: مات أَبُو الْعَبَّاس أَحْمَد بْن يَحْيَى النحوي المعروف بثعلب يوم السبت لثلاث عشرة ليلة بقيت من جمادى الأولى سنة إحدى وتسعين ومائتين في خلافة المكتفي بن المعتضد وقد بلغ تسعين سنة وأشهرا.
وقد دفن فِي مقبرة باب الشام في حجرة اشتريت له وبنيت بعد ذلك، وقبره هناك ظاهر معروف.