أما جيش علي بن أبي طالب رضي الله عنه فلما عُرض عليهم أن يخرج للتحكيم عبد الله بن عباس رفض القوم، وطالبوا بأن يخرج عنهم أبو موسى الأشعري، وذلك لأنه رفض الدخول في القتال من بداية الأمر مع يقينه أن عليًا رضي الله عنه على الاجتهاد، وكان رضي الله عنه قاضيًا للكوفة، واعتزل القتال، ولم يكرهه علي بن أبي طالب رضي الله عنه على الخروج معه، ذهب إليه القوم في قريته التي كان معتزلًا فيه وقالوا له: إن الناس قد اصطلحوا.
فقال: الحمد لله.
فقالوا له: وقد جُعلت حكمًا.
فقال: إنا لله وإنا إليه راجعون.
وذلك لأن هذا الأمر أمر صعب، وشاق عسير أن يحكم بين طائفتين اقتتلا هذا القتال الشديد فترة كبيرة، ووافق رضي الله عنه على الذهاب معهم، حتى يتم التحكيم في هذه القضية الشائكة.
والتقى أبو موسى الأشعري، وعمرو بن العاص رضي الله عنهما في مكان (صفين) ، وبدآ يفكران في كيفية إيجاد حلٍ لهذه المعضلة التي ألمّت بالمسلمين، فاتفقا ابتداءً على كتابة كتابٍ مبدئي يضع أسس التحكيم، ولن يكون هو الكتاب النهائي.
فبدأ أبو موسى يملِى الكتاب وعمرو بن العاص يسمع:
بسم الله الرحمن الرحيم
هذا ما قاضي عليه علي بن أبي طالب أمير المؤمنين.
فقاطعه عمرو بن العاص قائلًا: اكتب اسمه، واسم أبيه، هو أميركم، وليس بأميرنا.
فقال الأحنف بن قيس: لا نكتب إلا أمير المؤمنين.
فذهبوا إلى علي بن أبي طالب رضي الله عنه، وذكروا ذلك له، فقال رضي الله عنه: امح أمير المؤمنين، واكتب: هذا ما قاضى عليه علي بن أبي طالب.
وعمرو بن العاص رضي الله عنه يتحدث بلسان أهل الشام الذين لم يباعوا علي أميرًا للمؤمنين،وإلا ما قاتلوه.
وقبل علي بن أبي طالب رضي الله عنه بهذا الأمر؛ حرصًا على جمع الكلمة، ووحدة الصف، وسعة صدرٍ منه رضي الله عنه وأرضاه.