إن عدد الشيوخ الذين أخذ عنهم أبو القاسم ببغداد يفوق عددهم في أية مدينة أخرى يدل على ذلك معجم شيوخه حيث نجد فيه مئات عديدة، لكنه أكثر عن بعضهم نظرًا لمكانتهم العلمية وما حصلوا عليه من إسناد عال في الرواية، قال رفيقه المحدث أبو المواهب الحسن بن هبة الله ابن صصري الربعي البلدي الأصل الدمشقي الدار والوفاة المتوفى سنة 586 (48) :
"أما أنا فكنت أذاكره في خلواته عن الحفاظ الذين لقيهم فقال: أما ببغداد فأبو عامر العبدري" (49) . وكان أبو عامر محمد بن سعدون بن مرجى القرشي العبدري الميورقي نزيل بغداد المتوفى سنة 524هـ أحد الحفاظ المذكورين والعلماء المبرزين، ومن كبار الفقهاء الظاهرية: قال أبو القاسم:"كان فقيهًا على مذهب داود، وكان أحفظ شيخ لقيته" (50) .
وقد أدرك الحافظ ابن عساكر ببغداد سند العراق العظيم أبا القاسم هبة الله بن محمد ابن الحصين الشيباني الهمذاني الأصل البغدادي (432-525) ، وكان من الشيوخ الثقاة الواسعي الرواية، وقد تفرد برواية مسند الإمام أحمد، وأحاديث أبي بكر الشافعي واليشكريات (51) .
وسمع بها من أبي العز أحمد بن عبيد الله ابن كادش العكبري البغدادي (436-526) وكان آخر الرواة عن أقضى القضاة أبي الحسن الماوردي (52) . ومن أبي الحسين محمد بن الحسين ابن الفراء البغدادي الحنبلي المقتول سنة 526 صاحب طبقات الحنابلة (53) .
وأخذ الحافظ عن أبي الحسن على يد بن عبيد الله ابن الزاغوني (455-527) شيخ الحنابلة ببغداد. وكان إمامًا فقيهًا، متبحرًا في الأصول والفروع، متفننًا، واعظًا، مناظرًا، ثقة، مشهورًا بالصلاح والديانة والورع والصيانة وكثرة التصانيف (54) .
وأكثر عن أبي القاسم هبة الله بن أحمد بن عمر البغدادي الحريري المقرئ المعروف بابن الطبر (435-531) خال الحافظ عبد الوهاب الأنماطي، وهو من الشيوخ المعمرين المقرئين الثقات العارفين بالعربية (55) .