فلسطين من مكرأعداء الاسلام للإسلام وأهله، فهي على مرمى حجر منه، ورأى أن السبيل الوحيد لردهم هو الجهاد. شعر الزرقاوي أنه كمجاهد وصاحب تجربة معني بالدرحة الأولى بتلبية نداء الإسلام والجهاد، وكان لسان حاله يقول لأمته:

تشجعي أنا لها .. أنا لها. أنا لها.

حين استقر بهم الحال في الأردن، كانت لهم خطوات عملية باتجاه دعوة التوحيدوالجهاد، حيث كانوا قد بدأوا بالدعوة وقطعوا مشوارا في هذا الاتجاه، بدأ الزرقاوي يتفرغ لزيارة أصحابه ومعارفة، وكان يهدف من ذلك العمل للإسلام والدعوة بطريقتهم تلك"توحيد وجهاد". انطلق بداية يدعو من يعرف من الشباب، وخاصة بعض إخوته الذين كانوا معه في أفغانستان، وذاقوا طعم الجهاد بقتالهم لأعداء الإسلام، لكنه لم يجد آذانا صاغية للعمل، ورجالا مستعدين للتضحية والانطلاق، فأصبح يهتم كثيرا بتحريض الناس عامة، وبمن يثق بهم خاصة. ثم بدأ يجمع الشباب مع أبي القسام خالد العاروري صاحبه وزوج شقيقته فك الله أسره، حيث التقيا بأبي محمد المقدسي في الأردن، وكان قد تعرف على المقدسي أثناء وجوده في باكستان، عن طريق صاحبه أبو الوليد الفلسطيني، كذلك تعرفت على المقدسي عند أبي الوليد. تعرفت على المقدسي في الباكستان في سنة 1992 ولم أره من قبل فقد كان يأتي للباكستان ويذهب بين الفينة والأخرى. في الباكستان كان المقدسي مهتما بتأليف كتاب اسمه"الكواشف الجلية في كفر الدولة السعودية"أشغل به نفسه، وقام بجمع أدلة كثيرة تصب في هذا الإتجاه، وسجن لأجل هذا الكتاب وكتاب ملة إبراهيم وقد مضى عليه سنتان وثلاثة شهور في سجن المخابرات العامة لم يخرج إلا ثلاثة أيام ثم اعتقل بعد لقاء صحفي مع ياسر أبو هلالة مدير مكتب الجزيرة.

كتب المقدسي في كتيبه ملة ابراهيم، عن قصة سيدنا إبراهم مع قومه متأسيا بالسيرعلى منهجه في الولاء والبراء، ليصل المؤمن إلى برالأمان، ويفوزبفلاح في الدنيا وألاخرة. كان هذا الكتيب متداولا عندنا في بيشاور، مع كتاب الكواشف الجلية، إضافة إلى نشره لكتاب"كشف شبهات مرجئة العصر"من دعاة"السلفية المزورة"

التقى الزرقاوي والمقدسي في الاردن مجددا، وأصبح هناك تواصل بينهما، ثم ذهب أبو مصعب مع أبي القسام وبعض أصحابه إلى المقدسي، وكان الزرقاوي وأبو القسام يودوا أن يجمعوا حولهم أنصارا من طلبة العلم ومجاهدين، فقالوا لأبي محمد: نريد أن نعلم الناس التوحيد ثم بدءوا دعوتهم جميعا. غدا الزرقاوي محروق القلب ومجروح الفؤاد وكسير النفس على حال أمته، ويريد أن يقدم شيئا للدين ويقول:"أنا مستعد أن أكون خادما للعاملين للإسلام"، كان أبو مصعب معتزا بالله تعالى ويقول تحقيقا لا تعليقا:"الله لن يخذلنا و سينصرنا ولو كنا قلة، ولو التجأ المسلمون للجبال و صار بينهم وبين أعداء الإسلام صدام في ديار الإسلام، وتوكلوا على الله حق توكله وأخلصوا لله والله لتقاتل معهم ملائكة الجبال، لقد كنا في افغانستان، والأفغان بشر نصروا الله فنصرهم، فهل هم بشر ونحن لسنا بشر، نحن أهل القرآن وأهل الإسلام) وحين ذكر لي أحد أخوته هذه الكلمة قال: والله هذه الكلمة هزتني الآن؟ لقد كان يحرض على قتال أعداء الإسلام من اليهود. ثم تبايع هوورفيق دربه أبوالقسام وبعض الشباب على الموت في سبيل الله، ونشر عقيدة التوحيد بين"