وهكذا فارق بغداد في سن الثامنة والثلاثين بعد أن فرق ما كان معه من المال ولم يدخر إلا قدر الكفاف وقوت الأطفال ثم دخل الشام وأقام بدمشق قريبًا من سنتين اشتغالًا بالمجاهدة والرياضة وتزكية النفس وتهذيب الأخلاق وتصفية القلب وكان اعتكافه في المسجد الأموي ولاسيما في زاوية من المسجد نسبت إليه وفي المنارة الغربية كان في وسطها غرفة واسعة وقد خربت هذه المنارة وأزيلت. ثم رحل إلى بيت المقدس وأقام فيها مدة يدخل فيها كل يوم الصخرة ويغلق بابها على نفسه. وفي بيت المقدس بدأ يؤلف كتابه الشهير"إحياء علوم الدين"الذي عاوده في دمشق لما رجع إليها بعد حين ثم رحل الغزالي إلى مدينة الخليل لزيارة مقام إبراهيم ثم تحركت فيه داعية فريضة الحج والاستمداد من بركات مكة والمدينة. ويقال أنه بعد ذلك ذهب إلى مصر والإسكندرية قولًا غير متأكد ثم رجع على طريق دمشق إلى بغداد وعقد بها مجالس للوعظ وتكلم على لسان أهل الحقيقة وحدث بكتاب الإحياء كما يذكر السبكي ثم يقصد إلى بلده طوس. ويقول في دواعي إيابه: ... وعدت إلى تصحيح أول منزل
"ثم جذبتني الهمم ودعوات الأطفال إلى الوطن فعاودته بعد أن كنت أبعد الخلق عن الرجوع إليه فآثرت العزلة به أيضًا حرصًا على الخلوة وتصفية القلب للذكر. وكانت حوادث الزمن ومهمات العيال وضرورات المعاش تغبّر في وجه المراد وتشوش صفوة الخلوة. وكان لا يصفو الحال إلا في أوقات متفرقة. لكني مع ذلك لا أقطع طمعي منها فتدفعني عنها العوائق وأعود إليها.. ودمت على ذلك مقدار عشر سنين وانكشف لي في أثناء هذه الخلوات أمور لا يمكن إحصاؤها واستقصاؤها".