بعد أن توفي يزيد وكان قد عهد بالخلافة لابنه معاوية، وكان شابا مريضا، وكان ناسكا صالحا متعبدا لم تدم خلافته بالناس سوى اليسير، ولم يرد الخلافة وقد علم أنه ليس لها بأهل، واعتزل الناس وقال: إنه لم يجد للناس من يخلفه كما خلف أبو بكر للناس عمر بن الخطاب، ولا وجد في الناس ستة من أهل الشورى يكون الأمر بينهم كما وجد عمر بن الخطاب للناس أهل الشورى، فترك الأمر للناس يختارون من شاءوا، واعتزلهم حتى توفي.
لما مات يزيد بن معاوية أقلع جيشه عن مكة، وهم الذين كانوا يحاصرون ابن الزبير وهو عائذ بالبيت، فلما رجع حصين بن نمير السكوني بالجيش إلى الشام بعد أن عرض الحصين على ابن الزبير أن يبايعه بالخلافة شرط أن يأتي معهم للشام؛ لكن ابن الزبير رفض الذهاب إلى الشام, كان يزيد قد أوصى بالخلافة لابنه معاوية؛ لكنه لم يكن راغبا فيها فتركها وجعلها شورى للمسلمين.
استفحل أمر ابن الزبير بالحجاز وما والاها، وبايعه الناس في العراق وما يتبعه إلى أقصى مشارق ديار الإسلام، وفي مصر وما يتبعها إلى أقصى بلاد المغرب، وبايعت الشام أيضا إلا بعض جهات منها، ففي دمشق بايع الضحاك بن قيس الفهرى لابن الزبير، وفي حمص بايع النعمان بن بشير، وفي قنسرين زفر بن الحارث الكلابي، وفي فلسطين بايع ناتل بن قيس، وأخرج منها روح بن زنباع الجذامي، ولم يكن رافضا بيعة ابن الزبير في الشام إلا منطقة البلقاء وفيها حسان بن مالك بن بحدل الكلبي.
وقد كان التف على عبد الله بن الزبير جماعة من الخوارج يدافعون عنه، منهم نافع بن الأزرق، وعبد الله بن إباض، وجماعة من رؤوسهم, فلما استقر أمره في الخلافة قالوا فيما بينهم: إنكم قد أخطأتم لأنكم قاتلتم مع هذا الرجل ولم تعلموا رأيه في عثمان بن عفان -وكانوا ينتقصون عثمان- فاجتمعوا إليه فسألوه عن عثمان فأجابهم فيه بما يسوؤهم، فعند ذلك نفروا عنه وفارقوه وقصدوا بلاد العراق وخراسان، فتفرقوا فيها.
صرح العديد من العلماء والمؤرخين بأن بيعة ابن الزبير بيعة شرعية، وأنه أولى بها من مروان بن الحكم, فيروي ابن عبد البر، عن مالك أنه قال: إن ابن الزبير كان أفضل من مروان وكان أولى بالأمر منه، ومن ابنه عبد الملك.
ويقول ابن كثير عن ابن الزبير: ثم كان هو الإمام بعد موت معاوية بن يزيد لا محالة، وهو أرشد من مروان بن الحكم، حيث نازعه بعد أن اجتمعت الكلمة عليه، وقامت البيعة له في الآفاق، وانتظم له الأمر، والله أعلم.
لما احترقت الكعبة حين غزا أهل الشام عبد الله بن الزبير أيام يزيد تركها ابن الزبير يشنع بذلك على أهل الشام، فلما مات يزيد واستقر الأمر لابن الزبير شرع في بنائها، فأمر بهدمها حتى ألحقت بالأرض، وكانت قد مالت حيطانها من حجارة المنجنيق، وجعل الحجر الأسود عنده، وكان الناس يطوفون من وراء الأساس، وضرب عليها السور وأدخل فيها الحجر، واحتج بأن رسول الله صلى الله عليه وسلم قال لعائشة: (لولا حدثان عهد قومك بالكفر لرددت الكعبة على أساس إبراهيم، وأزيد فيها الحجر).
فحفر ابن الزبير فوجد أساسا أمثال الجمال، فحركوا منها صخرة فبرقت بارقة، فقال: أقروها على أساسها وبنائها، وجعل لها بابين يدخل من أحدهما ويخرج من الآخر.
لما بويع لابن الزبير بالخلافة، وقدم الحصين بن نمير ومن معه إلى الشام أخبر مروان بما كان بينه وبين ابن الزبير، وقال له ولبني أمية: نراكم في اختلاط فأقيموا أميركم قبل أن يدخل عليكم شامكم، فتكون فتنة عمياء صماء.
وكان من رأي مروان أن يسير إلى ابن الزبير فيبايعه بالخلافة، فقدم ابن زياد من العراق وبلغه ما يريد مروان أن يفعل، فقال له: قد استحييت لك من ذلك، أنت كبير قريش وسيدها تمضي إلى أبي خبيب فتبايعه -يعني ابن الزبير- فقال: ما فات شيء بعد.
فقام معه بنو أمية ومواليهم وتجمع إليه أهل اليمن فسار إلى دمشق وهو يقول: ما فات شيء بعد، فقدم دمشق وجهز جيوشا ليثبتوا له البيعة فثبت حكمه بالشام, ثم أرسل جيشا آخر للعراق ليأخذ له البيعة.
ولكن لم تدم مدة حكمه طويلا، فقد توفي بعد تسعة أشهر.
لما بايع الناس مروان سار من الجابية إلى مرج راهط وبها الضحاك بن قيس ومعه ألف فارس، وكان قد استمد الضحاك النعمان بن بشير وهو على حمص فأمده حبيب بن ذي الكلاع، واستمد أيضا زفر بن الحارث وهو على قنسرين فأمده بأهل قنسرين، وأمده ناتل بأهل فلسطين، فاجتمعوا عنده، واجتمع على مروان كلب وغسان, والسكاسك والسكون، وتحارب مروان والضحاك بمرج راهط عشرين ليلة، واقتتلوا قتالا شديدا، فقتل الضحاك، قتله دحية بن عبد الله، وقتل معه ثمانون رجلا من أشراف أهل الشام، وقتل أهل الشام مقتلة عظيمة، وقتلت قيس مقتلة لم يقتل مثلها في موطن قط، وكان فيمن قتل هانىء بن قبيصة النميري سيد قومه، كان مع الضحاك، قتله وازع بن ذؤالة الكلبي، ولما انهزم الناس من المرج لحقوا بأجنادهم، فانتهى أهل حمص إليها وعليها النعمان بن بشير، فلما بلغه الخبر خرج هربا ليلا ومعه امرأته نائلة بنت عمارة الكلبية وثقله وأولاده، فتحير ليلته كلها، وأصبح أهل حمص فطلبوه، وكان الذي طلبه عمرو بن الجلي الكلاعي، فقتله ورد أهله والرأس معه، وجاءت كلب من أهل حمص فأخذوا نائلة وولدها معها، ولما بلغت الهزيمة زفر بن الحارث الكلابي بقنسرين هرب منها فلحق بقرقيسيا وعليها عياض الحرشي، وكان يزيد ولاه إياها، وهرب ناتل بن قيس الجذامي عن فلسطين فلحق بابن الزبير بمكة، واستعمل مروان بعده على فلسطين روم بن زنباع، واستوثق الشام لمروان واستعمل عماله عليها.
لما استقر الشام لمروان بن الحكم سار إلى مصر, فقدمها وعليها عبد الرحمن بن جحدم القرشي يدعو إلى ابن الزبير، فخرج إلى مروان فيمن معه، وبعث مروان عمرو بن سعيد من ورائه حتى دخل مصر، فقيل لابن جحدم ذلك، فرجع وبايع الناس مروان ورجع إلى دمشق.
