ثم صدرت «الشهاب» وفيها الدعوة إلى مناصرة فكرة الإصلاح وتجميع القوى وأن يكتب إلى الشهاب من يوافق على هذه الأفكار، فانهالت الرسائل المؤيدة، ومنها رسائل من الشيخ الطيب العقبي، ومبارك الميلي .. وقد جاء في رسالة الشيخ العربي التبسي: «أزفت ساعة الجماعة وتصرم عصر الفرد» ، وفي عام (1931) نشرت «الشهاب» اقتراحًا بتأسيس جمعية العلماء وكان الغرض هو جمع القوى الموزعة من العلماء على اختلاف حظوظهم من العلم للتعاون على خدمة الدين الإسلامي واللغة العربية، والنهوض بالأمة».

استجاب كثير من العلماء لدعوة ابن باديس وتقرر الاجتماع في الساعة الثامنة من صباح يوم الثلاثاء السابع عشر من ذي الحجة (1349 هـ) الخامس من مايو (1931 م) في نادي الترقي بعاصمة الجزائر، وكان عدد المجتمعين اثنين وسبعين من العلماء وطلبة العلم، وكان هذا الاجتماع بمثابة جمعية عمومية لوضع القانون الأساسي، ثم عقد اجتماع آخر وانتخب الشيخ ابن باديس رئيسًا والشيخ الإبراهيمي نائبًا للرئيس.

إن تأخير قيام الجمعية إلى هذا الوقت مع أن نشاط ابن باديس وحديثه عن العمل الجماعي ورد في أوائل العشرينات إنما كان لتطلع ابن باديس إلى مشاركة جميع العلماء الذين يؤمنون بالإصلاح، وهذا يتطلب جهدًا كبيرًا والدخول في حوار مع كل فرد منهم، كما يتطلب وضوح الأهداف والغايات.

5 -حاول بعض الصوفية من أعضاء الجمعية والمشايخ الذين لهم ارتباط بالإدارة الفرنسية السيطرة على الجمعية ولكنهم فشلوا فشلًا ذريعًا، وفي عام (1932 م) خرجوا من الجمعية وانتخب ابن باديس مرة ثانية رئيسًا بالإجماع، وبذلك صفت الجمعية لرجال الإصلاح الذين كان منهجهم واضحًا منذ البداية.

أما السؤال المتبادر، لماذا دخل هؤلاء في الجمعية أصلًا؟ فالجواب: أن ابن باديس تعاون مع المعتدلين من الطرقيين والعلماء الرسميين ولم يتعاون مع الملوثين الذين ظهرت أباطيلهم وأراد من هذا التعاون شيئين:

«الأول» : أراد أن يواجه المستعمرين وعموم أعداء هذا الدين بموقف إسلامي موحد، وموقفه هذا يذكرنا بالوفد الذي قابل به ابن تيمية قازان زعيم التتار وكان يضم الصوفيين والمبتدعين.