الولاة، ولكن نصحه بعض الصحابة وبعض الرجال في أن يؤخر هذا الأمر حتى يستقر الوضع، إلا أنه رفض ذلك حيث رأى أن هيبة الدولة لا تكون إذا لم يستطع الخليفة أن يعزل واليًا وأن يعين غيره، وإلا فما معنى أن الوالي يتبع الخليفة، وإذا لم يستطع الإمام عزل وال، فمعنى ذلك أن الوالي بمثابة خليفة أو أنه يرفض الأوامر ويرفض البيعة أو يأخذها لنفسه، ويتعدد عندها الخلفاء، وهذا أمر غير جائز ولا يكون في الإسلام، هذا من جهة، ومن جهة ثانية فإن العصاة والمنحرفين يرون أن الوضع غير مستقر، وبذا يبقون في المدينة وعندها لا يستطيع الخليفة أن يفعل شيئًا ولا أن يقيم حدود الله، وهو لا يخاف في الله لومة لائم، إذن فلا بد من عزل الولاة واستبدالهم.

أرسل علي الولاة إلى الأمصار فبعث إلى البصرة عثمان بن حنيف وهو من أعلام الأنصار، فدخلها وارتحل عنها واليها السابق عبدالله بن عامر متجهًا إلى مكة. وأبقى على الكوفة أبا موسى الأشعري الذي أرسل بيعته وبيعة أهل مصره إلى أمير المؤمنين. وبعث سهل بن حنيف إلى الشام، ولكنه رد من حدودها، ردته خيل معاوية بأمر أو باجتهاد منهم. وبعث إلى مصر قيس بن سعد بن عبادة، وكان قد قتل من تسلمها وهو محمد بن أبي حذيفة، فدخل مصر وأخذ البيعة لأمير المؤمنين من أهلها، إلا فريقًا قليلا منهم اعتزلوا الناس وأووا إلى (خربتا) لا يشقون عصا الطاعة، ولا يقاتلون أحدًا، وبهذا فقد اختار ثلاثة ولاة من الأنصار إلى أهم الأمصار وأكثرها ثغورًا وجهادًا. أما مكة فقد بعث إليها خالد بن العاص بن هشام بن المغيرة المخزومي، ولكنه وجد فيها كل من اعتزل الفتنة ومن اجتمع فيها من بني أمية، ومن ترك ولايته من الولاة السابقين، لذا فقد رفضت ولايته وبقيت مكة دون وال، ولكل مجموعة رجل يرجعون إليه. وبعث علي بن أبي طالب إلى اليمن ابن عمه عبيد اللهبن عباس عاملا له عليها، فلما وصل إليها رحل عنها عاملها السابق يعلى ابن أمية واتجه إلى مكة، وهكذا خضعت دار الهجرة مركز الدولة والأمصار كلها إلى أمير المؤمنين علي بن أبي طالب باستثناء الشام التي كان يسير أمورها معاوية بن أبي سفيان إذ لم يرسل البيعة، وبهذا عقدت بيعة علي بن أبي طالب، وقام بالأمر، وأرسل إلى معاوية يطلب منه البيعة لكنه تأخر بالجواب، ينتظر ما تؤول إليه الأمور، ووضع العصاة في المدينة.