تفضي إلى ملاكمات، ولم يثبت له شيء، فتوجه إلى مصر، فمرض مرضةً طويلة بالبيمارستان المنصوري، ثم إنه خرج في محارة مع العرب، فلما كان بين سرياقوس والقاهرة، أو بعد سرياقوس، توفي - رحمه الله تعالى - فحمله العرب إلى بلبيس، ودفن بها عفا الله عنه وسامحه.
وكان أولًا يعرف بالزينبي، ثم إنه أخيرًا كتب عن نفسه الجعفري. وكان إذا خاصم أحدًا يقول: أنا ابن بنت رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ، فقلت له: يا مولانا السيد كن، أعرف ما تقول إن كنت جعفريًا فهذه نسبة إلى جعفر الطيار أخي علي بن أبي طالب رضي الله عنهم، وجعفر ما تزوج ببنت رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ، والذي تزوج بها أخوه علي بن أبي طالب، فإن أردت النسبة إلى بنت رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ فقل أنا علوي، لأنك تكون من أولاد الحسن والحسين رضي الله عنهم. فأخجله هذا، ولم يرجع عن هذه الدعوى، سامحه الله وعفا عنه.
وكان مبغضًا إلى كل من يرافقه من فقهاء المدارس، وكتاب الجامع الأموي وكتاب الإنشاء حتى أنشدني فيه بعض الناس:
يا حب لي فيك واش ... بيني وبينك يوقع
وماله من محب ... مثل الشريف الموقع
وأنشدني من لفظه لنفسه القاضي شمس الدين محمد بن شرف الدين عيسى بن قاضي شهبة في ذلك:
ولرب خل قال لي يهنيك قد ... عطف الحبيب وزار بعد تجنب
وكستك أيدي الدهر ثوب شبيبة ... ما عشت عنك جديده لم يذهب
وأنا لك الدهر الخؤون قياده ... وأمنت من صرف الردى المتغلب
وصفت لك الدنيا ووسع رزقها ... فتمل بالمحبوب واشرب واطرب
فأحببت قد أفرحت لكن لم تقل ... وكذاك قد مات الكمال الزينبي