وعندما أراد الشيخ العودة إلى مدينة ) صامطة ) التي جعلها مقرًا له ومركزًا لدعوته ، طلب من والدي حافظ أن يرسلاه معه ليطلب العلم على يديه في ( صامطة ( على أن يجعل لهما من يرعى غنمهما بدلًا عنه ، ولكنهما رفضا طلب الشيخ أول الأمر وأصرَّا على أن يبقى ابنهما الصغير في خدمتهما لحاجتهما الكبيرة إليه
وتشاء إرادة الله أن لا تطول حياة والدته بعد ذلك إذ توفيت في شهر رجب سنة 1360هـ فيسمح والده له ولأخيه محمد بأن يذهبا إلى الشيخ للدراسة لمدة يومين أو ثلاثة أيام في الأسبوع ثم يعودا إليه ، فكان حافظ لذلك يذهب إلى الشيخ في ( صامطة ) فيملي عليه الدروس ، ثم يعود إلى قريته ، وكان ملهمًا يفهم ويعي كل ما يقرأ أو يسمع من معلومات
ولم يعمر والده بعد ذلك إذ انتقل إلى جوار ربه وهو عائد من حجٍّ سنة 1360هـ رحمه الله - فتفرغ حافظ للدراسة والتحصيل ، وذهب إلى شيخه ولازمه ملازمة دائمة يقرأ عليه ويستفيد منه
وكان حافظ في كل دراساته على شيخه مبرزًا ونابغة ، فأثمر في العلم بسرعة فائقة ، وأجاد قول الشعر والنثر معًا ، وألف مؤلفات عديدة في كثير من العلوم والفنون الإسلامية ، ولقد كان كما قال عنه شيخه: (( لم يكن له نظير في التحصيل والتأليف والتعليم والإدارة في وقت قصير ((
علمه
مكث حافظ يطلب العلم على يد شيخه الجليل عبد الله القرعاوي ، ويعمل على تحصيله ، ويقتني الكتب القيمة والنادرة من أمهات المصادر الدينية واللغوية والتاريخية وغيرها يستوعبها قراءة وفهمًا