أجله وهو في يده ليقتلنه فدعا به يوسف فجلس على دكان بالحيرة وحضر الناس وبسط عليه فلم يكلمه واحدة حتى شتمه يوسف فقال يابن الكاهن يعني شق بن صعب الكاهن فقال له خالد إنك لأحمق تعيرني بشرفي ولكنك يابن السباء إنما كان أبوك سباء يعني يبيع الخمر ثم رده إلى حبسه ثم كتب إليه هشام يأمره بتخلية سبيله في شوال من سنة إحدى وعشرين ومائة فنزل خالد في قصر إسماعيل بن عبد الله بدوران خلف جسر الكوفة وخرج يزيد بن خالد وحده فأخذ على بلاد طيئ حتى ورد دمشق وخرج خالد ومعه إسماعيل والوليد قد جهزهم عبد الرحمن بن عنبسة بن سعيد بن العاص وبعث بالأثقال إلى قصر بني مقاتل وكان يوسف قد بعث خيلا فأخذت الزاد والأثقال والإبل وموالي لخالد كانوا فيها فضرب وباع ما أخذ لهم ورد بعض الموالي إلى الرق فقدم خالد قصر بني مقاتل وقد أخذ كل شيء لهم فسار إلى هيت ثم تحملوا إلى القرية وهي بإزاء باب الرصافة فأقام بها بقية شوال وذا القعدة وذا الحجة والمحرم وصفر لا يأذن لهم هشام في القدوم عليه والأبرش يكاتب خالدا وخرج زيد بن علي فقتل
قال الهيثم بن عدي فيما ذكر عنه وكتب يوسف إلى هشام إن أهل هذا البيت من بني هاشم قد كانوا هلكوا جوعا حتى كانت همة أحدهم قوت عياله فلما ولي خالد العراق أعطاهم الأموال فقووا بها حتى تاقت أنفسهم إلى طلب الخلافة وما خرج زيد إلا عن رأي خالد والدليل على ذلك خالد بالقرية على مدرجة العراق ينتشق أخبارها
فسكت هشام حتى فرغ من قراءة الكتاب ثم قال للحكم بن حزن القيني وكان على الوفد وقد أمره يوسف بتصديق ما كتب به ففعل فقال له هشام كذبت وكذب من أرسلك ومهما اتهمنا خالدا فلسنا نتهمه في طاعة وأمر به فوجئت عنقه وبلغ الخبر خالدا فسار حتى نزل دمشق فأقام حتى حضرت الصائفة فخرج فيها ومعه يزيدوهشام ابنا خالد بن عبد الله وعلى دمشق يومئذ كلثوم بن عياض القسري وكان متحاملا على خالد فلما أدربوا ظهر في دور دمشق حريق كل ليلة يلقيه رجل من أهل العراق يقال له أبو العمرس وأصحاب له فإذا وقع الحريق أغاروا يسرقون وكان إسماعيل بن عبد الله والمنذر بن أسد بن عبد الله وسعيد ومحمد ابنا خالد بالساحل لحدث كان من الروم فكتب كلثوم إلى هشام يذكر الحريق ويخبره أنه لم يكن قط وإنه عمل موالي خالد يريدون الوثوب على بيت المال فكتب إليه هشام يأمره أن يحبس آل خالد الصغير منهم والكبير ومواليهم والنساء فأخذ إسماعيل والمنذر ومحمد وسعيد من الساحل فقدم بهم في الجوامع ومن كان معهم من مواليهم وحبس أم جرير بنت خالد والرائقة وجميع النساء والصبيان ثم ظهر على أبي العمرس فأخذ ومن كان معه فكتب الوليد بن عبد الرحمن عامل خراج دمشق إلى هشام يخبره بأخذ أبي العمرس فأخذ ومن كان معه سماهم رجلا رجلا ونسبهم إلى قبائلهم وأمصارهم ولم يذكر فيهم أحد من موالي خالد فكتب هشام إلى كلثوم يشتمه ويعنفه ويأمره بتخلية سبيل جميع من حبس منهم فأرسلهم جميعا واحتبس الموالي رجاء أن يكلمه فيهم خالد إذا قدم من الصائفة فما أقبل الناس وخرجوا عن الدرب بلغ خالدا حبس أهله ولم يبلغه تخليتهم فدخل يزيد بن خالد في غمار الناس حتى أتى حمص وأقبل خالد حتى نزل منزله من دمشق فلما أصبح أتاه الناس فبعث إلى ابنتيه زينت وعاتكة فقال إني قد كبرت وأحببت أن تليا خدمتي فسرتا بذلك ودخل عليه إسماعيل أخوه ويزيد وسعيد ابناه وأمر بالإذن فقامت ابنتاه لتتنحيا فقال ومالهما تتنحيان وهشام في كل يوم يسوقهن إلى الحبس فدخل الناس فقام إسماعيل وابناه دون ابنتيه يسترونهما فقال خالد خرجت