والمدينة عن بيعته أجمع على إرسال الجيوش إليهما، فعسكر من بلده وعرض الأجناد فلم يخرج معه أصغر من ابن عشرين ولا أكبر من ابن خمسين، وكان الجيش على خيل عراب وسلاح شاك، وجعل على الجيش مسلم بن عقبة، وأرسل معه عشرة آلاف بعير تحمل الزاد، وأوصاه أن يتخذ المدينة طريقًا إلى ابن الزبير وهو بمكة، وقال له: إن صدوك أو قاتلوك فاقتل من ظفرت به منهم وانهبها ثلاثًا، قال ابن قتيبة: وذكروا أنَّ أهل الشام لمَّا انتهوا إلى المدينة عسركوا بالجرف وأحدقوا بها من كل ناحية. وخلاصة الأمر أنهم دخلوا المدينة بحيلة من بعض أهلها فاقتتلوا مع أهلها، وجعل مسلم يقول: من جاء برأس رجل فله كذا وكذا، فجعل يغري قومًا لا دين لهم، فقتلوا وظهروا على أكثر المدينة وقتلوا بشر بن حنظلة ومحمد بن عمرو بن حزم الأنصاري فرؤي بعد قتله ساجدًا، ثم دخل الجيش المدينة فجالت خيولهم فيها يقتلون وينهبون وقتلوا عبد الله بن زيد بن عاصم وكان يومه صائمًا فضربه رجل من أهل الشام بفأس بيده فخرج منه نور ساطع في السماء، وقُتِلَ عبد الله بن حنظة فرؤي بعد موته مادًّا أصبعه السبابة، وإبراهيم بن نعيم فغطي فرجه بيده، وعبد الله بن زيد صاحب حديث الأذان.