لكن الإمام الهادي عاد بعد ذلك إلى الحجاز, ولم يكن قد دعا إلى إمامته في هذه الرحلة ولا بايعه أحد من أهل اليمن, وبعد ذهابه إلى الحجاز, أحس أهل اليمن بالفراغ الذي تركه, وشعروا بالحاجة إليه فراسلوه ليرجع إليهم, فأجاب داعيهم ووصل إلى اليمن سنة 284هـ, واستقر في صعده (شمال اليمن) وأخذ منهم البيعة على إقامة الكتاب والسنة والأمر بالمعروف والنهي عن المنكر والطاعة في المعروف.

وقد كانت اليمن تعاني في ذلك الوقت تغلب أهل البدع من الباطنية والقرامطة والإسماعيلية, فبدأ الإمام الهادي حركته الإصلاحية بلم الشمل والقضاء على الفرقة والاختلاف, وبدأ بمجاهدة هؤلاء الباطنية حتى استطاع أن يحكم معظم أنحاء اليمن وجزءًا من الحجاز, وسار في حكمه سيرة حسنة من توفير الأمن والعدل وتنظيم موارد ومصارف الزكوات والجزية وتطبيق الحدود.

وفي سنة 293هـ, استشعر خطر القرامطة المتزايد فخرج لجهادهم واستمر يجاهدهم حتى توفي سنة 298هـ بعد إصابته بجروح في جهاده.

وواصل ابنه أحمد بن يحيى ما بدأه والده من جهاد القرامطة, فجاهدهم حتى توفي سنة 325هـ, ودفن بجوار أبيه في مدينة صعدة.

وبهذا يتبين أن انتشار المذهب الزيدي في اليمن كان بسيطرة رجال من آل البيت على الحكم من أمثال الهادي ومن جاء بعده من أولاده وذريته, واستمر رجال آل البيت يحكمون اليمن حتى قيام الثورة اليمنية سنة 1382هـ (1962م) على أنقاض المملكة المتوكلية اليمنية, أي قبل 41 سنة فقط من الآن, وهي أطول فترة حكم في التاريخ لآل البيت, حيث دام أحد عشر قرنًا: من بداية حكم الهادي 284هـ وحتى قيام الثورة وسقوط الحكم الإمامي الملكي سنة 1382هـ ( ) .