فأقام خالد بدمشق خلافة هشام حتى هلك فلما هلك هشام وقام الوليد قدم عليه أشراف الأجناد فيهم خالد فلم يأذن لأحد منهم واشتكى خالد فاستأذن فأذن له فرجع إلى دمشق فأقام شهرا ثم كتب إليه الوليد إن أمير المؤمنين قد علم حال الخمسين الألف ألف التي تعلم فاقدم على أمير المؤمنين مع رسوله فقد أمره ألا يعجلك عن جهاز
فبعث خالد إلى عدة من ثقاته منهم عمارة بن أبي كلثوم الأزدي فأقرأهم الكتاب وقال أشيروا علي فقالوا إن الوليد ليس بمأمون عليك فالرأي أن تدخل دمشق فتأخذ بيوت الأموال وتدعوا إلى من أحببت فأكثر الناس قومك ولن يختلف عليك رجلان قال أو ماذا قالوا أو توارى قال أما قولكم تدعو إلى من أحببت فإني أكره أن تكون الفرقة والاختلاف على يدي وأما قولكم تتوثق لنفسك فأنتم لا تأمنون علي الوليد ولا ذنب لي فكيف ترجون وفاءه لي وقد أخذت بيوت الأموال وأما التواري فوالله ما قنعت رأسي خوفا من أحد قط فالآن وقد بلغت من السن ما بلغت لا ولكن أمضي وأستعين الله
فخرج حتى قدم على الوليد فلم يدع به ولم يكلمه وهو في بيته معه مواليه وخدمه حتى قدم برأس يحيى بن زيد من خراسان فجمع الناس في رواق وجلس الوليد وجاء الحاجب فوقف فقال له خالد إن حالي ما ترى لا أقدر على المشي وإنما أحمل في كرسي فقال الحاجب لا يدخل عليه أحد يحمل ثم أذن لثلاثة نفر ثم قال قم يا خالد فقال حالي ما ذكرت لك ثم أذن لرجل أو رجلين فقال قم يا خالد فقال إن حالي ما ذكرت لك حتى أذن لعشرة ثم قال قم يا خالد وأذن للناس كلهم وأمر بخالد فحمل على كرسيه فدخل به والوليد جالس على سريره والموائد موضوعة والناس بين يديه سماطان وشبة بن عقال أو عقال بن شبة يخطب ورأس يحيى بن زيد منصوب فميل بخالد إلى أحد السماطين فلما فرغ الخطيب قام الوليد وصرف الناس وحمل خالد إلى أهله فلما نزع ثيابه جاءه رسول الوليد فرده فلما صار إلى باب السرادق وقف فخرج إليه رسول الوليد فقال يقول لك أمير المؤمنين أين يزيد بن خالد فقال كان اصابه من هشام ظفر ثم طلبه فهرب منه وكنا نراه عند أمير المؤمنين حتى استخلفه الله فلما لم يظهر ظنناه ببلاد قومه من السراة وما أوشكه فرجع إليه الرسول فقال لا ولكنك خلفته طلبا للفتنة فقال خالد للرسول قد علم أمير المؤمنين أنا أهل بيت طاعة أنا وأبي وجدي قال خالد وقد كنت أعلم بسرعة رجعة الرسول أن الوليد قريب حيث يسمع كلامي فرجع الرسول فقال يقول لك أمير المؤمنين لتأتين به أو لأزهقن نفسك فرفع خالد صوته وقال قل له هذا أردت وعليه درت والله لو كان تحت قدمي ما رفعتهما لك عنه فاصنع ما بدا لك فأمر الوليد بن غيلان صاحب حرسه بالبسط عليه وقال له أسمعني صوته فذهب به غيلان إلى رحله فعذبه بالسلاسل فلم يتكلم فرجع غيلان إلى الوليد فقال والله ما أعذب إنسانا والله ما يتكلم ولا يتأوه فقال اكفف عنه واحبسه عندك فحبسه حتى قدم يوسف بن عمر بمال من العراق ثم أداروا الأمر بينهم وجلس الوليد للناس ويوسف عنده فتكلم أبان بن عبد الرحمن النميري في خالد فقال يوسف أنا أشتريه بخمسين ألف ألف فأرسل الوليد إلى خالد إن يوسف يشتريك بخمسين ألف ألف فإن كنت تضمنها وإلا دفعتك إليه فقال خالد ما عهدت العرب تباع والله لو سألتني أن أضمن هذا ورفع عودا من الأرض ما ضمنته فر رأيك