وولاّه أبو بكر الصديق على قيادة حروب الردة في نجد من بني تميم وغيرهم فأوقع بأهل الردة في البُطاح (منزل لبني يربوع) ، وقتل مالك بن نُويرة، ثم أوقع بأهل بُزَاخة (16) لشتمهم النبي ( وإصرارهم على ردتهم، ثم مضى إلى اليمامة، فقاتل بها مُسَيلمة الكذاب وبني حنيفة حتى قُتل مسيلمة، وصال خالد أهل اليمامة على الصفراء والبيضاء والحَلْقة والكُراع(17) . وكان أبرز أعماله في قتال المرتدين قتله مالك بن نويرة (18) . ثم سيره أبو بكر إلى العراق سنة (12ه‍) ، ففتح الحيرة وجانبًا عظيمًا منها.

ولما فرغ خالد من اليمامة، جاءه كتاب من أبي بكر يأمره بالمسير على الشام، فأمرّه أبو بكر على سائر أمراء الأجناد، فمضى خالد على وجهه، فسلك عين التمر (19) ، ومرَّ بدُومة الجندل (20) ، فأغار على رجالهم، فقتل بعضهم وهزمهم الله، وحاصر دمشق، فافتتحها هو وأبوه عبيدة بن الجراح (21) .

قال عنه أبو بكر رضي الله عنه:"عجزت النساء أن يلدن مثل خالد".

عزله عمر رضي الله عنه عن قيادة الجيوش بالشام، وولى أبا عبيدة بن الجراح، فلم يثن ذلك من عزمه، واستمر يقاتل بين يدي أبي عبيدة إلى أن تم لهما الفتح سنة (14ه‍) ، فرحل إلى المدينة، فدعاه عمر ليوليه، فأبى.

ولم يكن عزل عمر له خوفًا منه كما يزعم بعض المستشرقين، وإنما لأحد سببين (22) :

الأول -ما قاله ابن عون:"ولي عمر: فقال: لأنزعن خالدًا حتى يعلم أن الله إنما ينصر دينه، يعني بغير خالد".

الثاني -شدته في القتال، فإن عمر طلب من أبي بكر عزله لما فعله في محاربة المرتدين، وقال:"إن في سيفه لرهقًا"أي شدة، فقال أبو بكر:"لا يا عمر، لم أكن لأشيم (23) سيفًا سلّه الله على الكافرين". وفي رأي آخر، قال علي لعمر:"فلم عزلته؟ قال: عزلتُه لبذله المال لأهل الشرف وذوي اللسان، قال: فكنت عزلته عن المال، وتتركه على الجند؟ قال: لم يكن ليرضى، قال: فهلا بلوته؟ أي اختبرته" (24) .