أن الإمامة لا تنعقد لكافر بل ولا لفاسق أو ظالم ابتداء. وكذلك استنبطوا من قوله تعالى: {وَلَنْ يَجْعَلَ اللَّهُ لِلْكَافِرِينَ عَلَى الْمُؤْمِنِينَ سَبِيلًا} (النساء: من الآية141) . أي لا يجعل الله للكافرين على المؤمنين سلطة وقهرا وتحكما. ومن أعظم السلطة ولاية الحاكم، فهي الإمامة العظمى، وأعظم سبيل للطاعة والقهر بل لقد منع العلماء بيع الرقيق المسلم لكافر، وكذلك منعوا المناصب والولايات التي يكون فيها المسلم تحت الكافر، ومن هذا الوجه حرم زواج المسلمة بالكافر، لأن ولاية البيت للزوج. وستكون المسلمة في أمر كافر. في حين أباح العكس. فالخلاصة كما نقل النووي الإجماع على بطلان ولاية الحاكم الكافر أو من ارتد وطرأ عليه الكفر ووجوب الخروج عليه وخلعه.
جاء في كتاب الإمامة العظمى عند أهل السنة (تأليف عبد الله الدميجي) في الفصل الثالث تحت عنوان (عزل الإمام والخروج على الأئمة) ص 465 ما ننقل منه باختصار مايلي:
[من المتفق عليه بين العلماء أن الإمام ما دام قائما بواجباته الملقاة على عاتقه في تدبير شؤون رعيته، عادلا بينهم فلا يجوز عزله ولا الخروج عليه، بل ذلك مما حذر منه الإسلام وتوعد الغادر بعذاب أليم. لكن هناك أمورًا عظيمة لها تأثير على حياة المسلمين الدينية والدنيوية منها ما يؤدي إلى ضرورة عزل الإمام المرتكب لها. وهذه الأمور منها ما هو متفق عليه بين العلماء ومنها ما هو مختلف فيه. والآن نستعرض هذه الأسباب لنرى آراء العلماء فيها:
الأول: الكفر والردة بعد الإسلام:
أول الأمور وأعظم الأسباب الموجبة لعزل الوالي هو الردة والكفر بعد الإيمان، فإذا ما ارتكب الإمام جرمًا عظيمًا يؤدي إلى الكفر و الإرتداد عن الدين فإنه ينعزل بذلك ولا يكون له ولاية على مسلم بحال.