تتلمذ أبو يعلى على أيدي شيوخ الموصل، وجمع الأحاديث من أعلام العلماء في عصره، وممن سبقوه من محدثين وفقهاء وإخباريين، ومن العلماء والشيوخ والفقهاء الذين ارتحل إليهم في مختلف الأمصار الإسلامية، وقد أفاد منهم ووعى علومهم وأضاف إليهم، وعلى سبيل المثال لا الحصر كان من بين أساتذة الحديث الموصوفين بعلو شأنهم في العلوم الدينية، وبوجه خاص علوم القرآن الكريم، وعلم الحديث، منهم: أحمد بن حنبل وطبقته (8) وأحمد بن إبراهيم الموصلي، وخليفة بن خياط، وأبو خيثمة زهير بن حرب، ومحمد بن عبد الله بن عمار الموصلي، وجُبارة بن المفلس، وأحمد بن حاتم الطويل، وأيوب بن يونس البصري، وأبو بكر بن أبي شيبة، ومحمد بن يحيى بن سعيد القطان، ويحيى بن معين، وزكريا بن حييى الكسائي، ويحيى الحماني، وخلق كثير سواهم مذكورون في معجمه (9) .
تلامذته:
بعد أن تتلمذ أبو يعلى على أيدي شيوخه، ذاع صيته حتى عد من أعلم أهل زمانه وأحسنهم سوقًا للحديث، فبدأت مرحلة عطائه، وأقبل عليه طلبة العلم ينهلون من علومه ومعارفه، وتحلّق حوله الكثير من التلاميذ، فبرز من بينهم أعلام المحدثين والفقهاء والعلماء، فقد حدَّث عنه"الحافظ أبو عبد الرحمن النسائي في (الكنى) وأبو زكريا يزيد بن محمد الأزدي، وأبو حاتم بن حبَّان، وأبوا لفتح الأزدي، وأبو علي الحسين بن محمد النيسابوري، وحمزة بن محمد الكناني، والطبراني، وأبو بكر أحمد بن إبراهيم الإسماعيلي، وأبو بكر محمد بن إبراهيم المقرئ، والقاضي يوسف بن القاسم الميانجي، ونصر بن أحمد بن الخليل المرجي، وخَلْق كثير سواهم (10) . وروى الأزدي صاحب كتاب (تاريخ الموصل) عن شيخه أبي يعلى أربع روايات تتعلق بمدينة الموصل وصلته عن طريق شفوي، وهي روايتان، الأولى تخص وفاة المحدث الموصلي عفيف بن سالم (ت184هـ-800م) "