فأراد أن يضع من خالد بن يزيد ويقصر به ويزهد الناس فيه، وكان إذا دخل عليه أجلسه معه إلى سريره، فدخل عليه يومًا فذهب ليجلس مجلسه الذي كان يجلسه، فقال له مروان وزبره: تنح يا ابن رطبة الاست، والله ما وجدت لك عقلًا. فانصرف خالد وقتئذ مغضبًا حتى دخل على أمه فقال: فضحتني، وقصرت بي، ونكست برأسي، ووضعت أمري. قالت: وما ذاك؟ قال: تزوجت هذا الرجل فصنع بي كذا وكذا؛ ثم أخبرها بما قال له، فقالت: لا يسمع هذا منك أحد، ولا يعلم مروان أنك أعلمتني بشيء من ذلك، وادخل عليه كما كنت تدخل، واطو هذا الأمر حتى ترى عاقبته، فإني سأكفيكه وأنتصر لك منه.
فسكت خالد وخرج إلى منزله، وأقبل مروان فدخل على أم خالد بنت أبي هاشم بن عتبة بن ربيعة وهي امرأته، فقال لها: ما قال لك خالد، وما قلت له اليوم، وما حدثك به عني؟ فقالت: ما حدثني بشيء ولا قال لي. فقال: ألم يشكني إليك، ويذكر تقصيري به، وما كلمته به؟ فقالت: يا أمير المؤمنين، أنت أجل في عين خالد، وهو أشد لك تعظيمًا من أن يحكي عنك شيئًا، أو يجد من شيء تقوله، وإنما أنت بمنزلة الوالد له. فانكسر مروان، وظن أن الأمر على ما حكت له، وأنها قد صدقت.
ومكث حتى إذا كان بعد ذلك وحانت القائلة، فنام عندها، فوثبت هي وجواريها فغلقن الأبواب على مروان، ثم عمدت إلى وسادة فوضعتها على وجهه، فلم تزل هي وجواريها يغممنه حتى مات. ثم قامت فشقت عليه جيبها، وأمرت جواريها وخدمها فشققن وصحن عليه وقلن: مات أمير المؤمنين فجأة. وذلك في هلال شهر رمضان سنة خمس وستين. وكان مروان يومئذ ابن أربع وستين سنة، وكانت ولايته على الشام ومصر لم يعد بعد ذلك ثمانية أشهر، ويقال: ستة أشهر.
وقد قال علي بن أبي طالب له يومًا ونظر إليه: ليحملن راية الضلال بعدما يشيب صدغاه، وله إمرة كلحسة الكلب أنفه.
وبايع أهل الشام بعده لعبد الملك بن مروان، فكانت الشام ومصر في يد عبد الملك