بدأت الفتنة عندما أشعلها عبد الله بن سبأ (ابن السوداء) ، وهو من يهود صنعاء، وكانت أمه سوداء، لذا عُرف بذلك، وقد أسلم أيام عثمان ليستطيع التأثير على نفوس أولئك الأعراب والبدو والذين دانوا حديثًا بالإِسلام من سكان الأمصار، إذ تنقل في بلدان المسلمين فبدأ بالحجاز، ثم سار إلى البصرة، ومنها إلى الكوفة، ثم إلى الشام، إلا أنه لم يستطع التأثير على أحد من أهل الشام، وبعدها أخرجوه إلى مصر حيث استقر هناك، وكان في كل مكان يحلّ فيه يتصل بالأشخاص ويتحدث إليهم ويبدي تفهمه للإِسلام، ويُظهر معرفته، ويقف موقف العالم، فيقول: عجيب من يزعم أن عيسى يرجع، ويكذب بأن محمدًا يرجع، والله سبحانه وتعالى يقول: {إن الذي فرض عليك القرآن لرادّك إلى معاد} . فمحمد أحق بالعودة والرجوع من عيسى. وهكذا بدأ التشكيك في العقيدة، والناس على فطرتهم حديثو العهد بالإِسلام في الأمصار لا يعرفون الفلسفات والمناقشات، والبدو الذين يعيشون معهم أكثر جلافة وإذا اقتنعوا بشيء صعب استخلاصه من نفوسهم. ورأى هذا اليهودي أن علي بن أبي طالب على رأس الصحابة الذين بقوا من حيث الاحترام والتقدير، بل يعد الشخص الثاني بعد الخليفة، وكان له عند الشيخين مركز ووزن يستشار في كل أمر، ويدعى في كل معضلة، ويؤخذ رأيه في كل مشكلة، هذا بالإضافة إلى قرابته من رسول الله - صلى الله عليه وسلم - وعلمه وفهمه، لذا رأى هذا الخبيث أن يركز على هذا الصحابي الجليل، وأن يدعو له لا حبًا به وتقديرًا، وإنما لبذر الفتنة في المجتمع، وحتى لا يُعرف مخططه فيظهر أنه يدعو إلى الشك والربية، فدعوته لأحد البارزين من الصحابة تخفي ما يضمر، وتقرّبه من نفوس بعض الرجال الذين يعرفون قدر علي. فكان يقول: إن عليًا هو وصي محمد - صلى الله عليه وسلم - ، فإن لكل نبي وصيًا. ثم انتقل بعد بذر الفتنة وإلقاء جذور البلاء في المجتمع يطعن بالخليفة نفسه وبولاته وامرائه وأنهم دون الصحابة الأجلاء، وأنهم لم يحتلوا هذه المراكز إلا لكونهم من ذوي رحم الخليفة الذي بلغ من العمر عتيًا وأنهم قد أثروا عليه، وأصبح أداة طيعة في أيديهم.