كانت المدارس الحكومية قليلة جدًا، وهي خاضعة خضوعًا تامًا لإشراف الإدارة الفرنسية في مناهجها ومدرسيها، بل كانت فرنسا تتعمد التجهيل، يقول محمد فريد وجدي الذي زار الجزائر (1901 م) : «هجرت ربوع العلم وخربت دور الكتب وصارت الديار مرتعًا للجهل وكادت تدرس معالم اللغة العربية الفصحى» .

ويقول الشيخ الإبراهيمي: «إن مدارسًا عامرة بهذا الصنف من الأطفال الذي لم يجد إلى التعليم الحكومي سبيلًا، وإن عدده لكثير إنه ليقارب التسعين بالمائة من أبناء الأمة» .

قصدت الجمعية لهذا الخلل، فشجعت الجمعيات الإصلاحية في كل مدينة لإنشاء مدرسة، وهذه الجمعية تتكفل بدفع رواتب المعلمين وتشجيع الأهالي على التبرع، وكانت جمعية العلماء تشرف على هذه الجمعيات المحلية وتشرف على اختيار المدرسين، وقد بلغ عدد هذه المدارس عام (1935 م) سبعين مدرسة، ويقدر عدد التلامذة بحوالي 30 ألف بين صبي وفتاة.

وكانت جمعية العلماء تنظم للمدرسين دورات تدريبية لرفع مستواهم التعليمي ومناقشة أساليب ونظم التعليم وفي عام (1944 م) نشطت الجمعية نشاطًا بارزًا فأنشأت خلال عام واحد ثلاثًا وسبعين مدرسة في مدن القطر وقراه، وفي عام (1948) بلغت مدارس الجمعية حوالي 140 مدرسة، وفي عام (1954 م) ازداد العدد إلى 170 مدرسة، وقد بلغ عدد تلاميذ هذه المدارس عام (1951 م) 286. 36 تلميذًا وتلميذة منهم 16.286 يدرسون دراسة كاملة في المدارس العربية ولا يلتحقون بالمدارس الحكومية، وبقية الطلبة سهلت لهم الجمعية أمر متابعتهم الدراسة في مدارسها بأن جعلت لهم دوامين للتعليم في الصباح والمساء.

وفي عام (1947 م) أسست الجمعية أول معهد للتعليم الثانوي في قسنطينة أطلق عليه اسم عبد الحميد بن باديس، وبدأت الجمعية تشجع خريجي هذا المعهد للالتحاق بجامعات الزيتونة في تونس أو الأزهر أو جامعة دمشق أو جامعة بغداد، وكأن الجمعية كانت تهيئ الشباب لعملية بناء الجزائر المستقلة.

وهذا الجهد العظيم هو صراع مرير مع الإدارة الفرنسية لتثبيت هوية هذا الشعب وأنه مسلم عربي، ففي هذه المدارس تعلم الأطفال العربية لأن التعليم في المدارس الحكومية كان