مكثوا فيها 11 سنة، قبل أن ينتهي بهم المقام بتافيلالت وبالضبط بقصر جهة النصر أو جهة الكصر وهو قصر لازالت أطلاله شاهدة عليه إلى اليوم.

لسيدي الغازي أخ أصغر إسمه سيدي يوسف يلقب بالعزام تربيا في كنف والدهما متشبعان بالتربية الإسلامية والأخلاق العالية. لما بلغ سن الثلاثين أخذ الورد عن شيخه وأستاذه سيدي علي بن عبد الله دفين قصر إرارة بالريصاني حيث بقي في كنفه عشر سنوات، فلما توفي شيخه تصدر للمشيخة وكان له مريدون وتلاميذ كثيرون من أبرزهم:

-سيدي احمد بن قاسم الكاوزي دفين قصر كاوز بالريصاني.

-سيدي ابراهيم دفين عيون أم الربيع بخنيفرة.

-سيدي احمد بن علي الملقب بجبار المكسور دفين دوار أولاد الحاج بزاكورة.

-سيدي ناجي دفين تونس

ومن تلاميذ تلاميذه كذلك الشيخ سيدي احمد بناصر الدرعي دفين تامكروت بزاكورة رضي الله عنهم ورحمهم جميعا آمين.

لم يتزوج الشيخ سيدي الغازي أبو القاسم قط ولم ينجب؛ والذي أنجب هو أخوه سيدي يوسف العزام المتوفى سنة 994 هـ حيث اعتبر إبني أخيه كإبنيه وتبناهما بنوة روحية وتكفل بتربيتهما وحسن رعايتهما حيث تنازل لأكبرهما؛ وهو سيدي احمد بن يوسف المتوفى سنة 1019 هـ؛ عن رئاسة الزاوية (المقدمية) وتفرغ هو للعبادة والخلوة والزهد أربعين سنة حتى وافته المنية سنة 982 للهجرة.

خلف تراثا دينيا وثقافيا زاخرا من اوراد وأذكار ونصائح وعظات جمعها أحد تلامذته في كتاب مخطوط أسماه: لباب الحكم في مناقب الغوث