وكان يحضر تحت النسر بالجامع بعد العصر في كل يوم اثنين وخميس لسماع الحديث عليه، وهو المكان الذي (كان) يجلس فيه عمه الحافظ أبو القاسم إلى أن توفي، ثم ابنه الحافظ أبو محمد إلى أن توفي، ثم ابنه العماد إلى أن سافر إلى العراق وخراسان، فكان الشيخ الفخر يجلس فيه بعده.
قال أبو شامة: سمعت عليه معظم كتاب دلائل النبوة للبيهقي وغيره، وكان رقيق القلب سريع الدمعة، فكنت أشاهده في أثناء قراءة الحديث عليه يبكي عند سماع ما يبكى منه ويردد مواضع الشعر والمواعظ منها نحو الشعر المنسوب إلى قس بن ساعدة:
في الذاهبين الأوّلين
من القرون لنا بصائرْ
لما رأيت مواردًا
للموت ليس لها مصادرْ
ورأيت قومي بعدها
تمضي الأصاغر والأكابرْ
أيقنت أني لا محالة
حيث صار القوم صائرْ
فكان يرددها ويبكي، وكتبت إليه أبياتًا أطلب منه فيها إجازة رواية ما يجوز له وعنه روايته سنة ست عشرة وستمائة فأجابني نظمًا بثلاثة أبيات وجدت بركة دعائه فيها، وما أعلمه فعل ذلك مع غيري وكتبها لي بخطه وهي:
أجزت له قولي وفق الله قصده
وأسعده بالعلم يوم معاده
رواية ما أرويه عن كل عالم
بصير بما فيه طريق سداده
فهنا وربي بالعلوم وجمعها
وبلغه فيها سني مراده