العراق فترةً حتى جاء الاحتلال فهب الشيخ للجهاد، وهذه عادة الذين لا يرضون الضيم لأمتهم، ولا يرضون القعود ككثيرين. فكان الشيخ وحوله بضعة عشر رجلًا يجاهدون مع من يجاهد، وكانوا طليعة من أوائل طلائع الجهادي العراق، وفي هذه الأثناء التحق الشيخ أبو أنس بركب الشيخ أبي مصعب ورفاقه. ثم سلك هذا الركبُ درب الجهاد المبارك، فكثرت العمليات وبدأ جسم المجموعة ينمو ويكبر، والتحق بالركب وفي هذا الدرب مجاهدون ومجاهدون.

بعدها قال الإخوة -وعلى رأسهم الشيخ أبو أنس رحمه الله -لا بد لنا من رجل نبايعه، فاختار الإخوةُ الشيخَ أبا مصعب لِمَا رأوا فيه من أهلية وصلاح نحسبه والله حسيبه، فرفض الشيخ أبو مصعب البيعة، وبعد إصرار شديد من الإخوة قبل الشيخ تلك البيعة، إلا أن الشيخ بعد أن قبل البيعة بدأ بالبحث عن رجل خير منه يبايعه وينظوي تحت إمرته.

ثم تلت هذه المرحلة من الجهاد المبارك مراحل حاسمة في تأريخ العمليات في العراق، حيث نفذ الإخوة عمليات مباركة ضد هيئة الأمم الملحدة، وضد الإيطاليين، و البولنديين، أما الأمريكان فكان لهم النصيب الأوفى، والكفل الأعظم من هذه العمليات، واستعرت الحرب.

ومن ثم تبنت جماعات بعضًا من تلك العمليات زورًا وبهتانًا, فأصر الشيخ أبو أنس على وضع اسم للجماعة، حفاظًا على ثمرة الجهاد المبارك، ولئلا يقطف ثمرات هذا الجهاد بعثي خبيث، أو علماني مرتد، فكان هذا الاسم"جماعة التوحيد والجهاد". وفي هذه الأثناء أيضًا، كان الشيخ أبو مصعب يبحث عن رجلٍ خير منه ليبايعه ويدخل تحت إمرته، فتسربت أخبار أن الشيخ أبا مصعب ينوي مبايعة الشيخ أسامة حفظه الله. فرح لهذا الخبر أقوامٌ، وكذّبه آخرون ثم جاء البيان. جماعة التوحيد والجهاد تعلن البيعة للشيخ الإمام أسامة وتغير اسم الجماعة إلى (تنظيم قاعدة الجهاد في بلاد الرافدين) . وفي هذه الأثناء ادعى كثيرون أن هذه البيعة بعيدة عن الحقيقة، أو بمعنى آخر أنها مجرد ادعاء فكانت الصاعقة، شريط مسجل بصوت الإمام أسامة بن لادن يقر أبا مصعب بالبيعة، ويؤمّره على العراق. فزاد فرح المؤمنين، وألجم - وزاد حزن - المكذبين. فانضمت بعد هذه البيعة مجاميع كثيرة للتنظيم، حتى أن مجموعات كبيرة انفصلت عن صلب جماعاتها وانضمت للتنظيم لمّا رفضت هذه الجماعات التوحد تحت راية واحدة من أفغانستان إلى العراق ... بعد أن دعوا أمير الجماعة للانضمام إلى التنظيم، فقال لهم:"إنه طلب البيعة من الشيخ أسامة إلا أن الشيخ دعاه للتوقف والتريث"-على حد تعبيره -، فلم تصدق هذه المجاميع