وأمر أبو بكر خالدًا أن يسير إلى أرض العراق، فسار ومعه المثنى بن حارثة، حتى صار إلى مدينة بانقيا، فافتتحها وسبى من فيها، ثم صار إلى مدينة كسكر، فافتتحها وسبى من فيها، ثم سار حتى لقي بعض ملوك الأعاجم يقال له جابان، فهزمه وقتل أصحابه، ثم سار حتى انتهى إلى فرات بادقلى يريد الحيرة، وملكها النعمان، فاقتتلوا قتالًا شديدًا، ثم انهزم النعمان فلحق بالمدائن، ونزل خالد الخورنق، وسار حتى صير الحيرة خلف ظهره، وكانوا على محاربته، ثم دعوا إلى الصلح، فصالحهم على سبعين ألفًا عن رؤوسهم، وقيل مائة ألف درهم.
وتجرد أبو بكر لقتال من ارتد، وكان ممن ارتد، وممن وضع التاج على رأسه من العرب، النعمان بن المنذر بن ساوي التميمي بالبحرين، فوجه العلاء بن الحضرمي فقتله، ولقيط بن مالك ذو التاج بعمان وجه إليه حذيفة ابن محصن فقتله بصحار من أرض عمان.
وكان ذو التاج... من بني ناجية وبشر كثير من عبد القيس، فقتل الله ذا التاج، وسبى المسلمون ذراريهم، وبعثوا بها إلى أبي بكر، فباعها بأربعمائة درهم، ثم وجه لقتال من منع الزكاة، وقال: لو منعوني عقالا لقاتلتهم. وكتب إلى خالد بن الوليد أن ينكفئ إلى مالك بن نويرة اليربوعي، فسار إليهم، وقيل إنه كان نداهم، فأتاه مالك بن نويرة يناظره، واتبعته امرأته، فلما رآها خالد أعجبته فقال: والله لا نلت ما في مثابتك حتى أقتلك، فنظر مالكًا، فضرب عنقه، وتزوج امرأته، فلحق أبو قتادة بأبي بكر، فأخبره الخبر، وحلف ألا يسير تحت لواء خالد لأنه قتل مالكًا مسلمًا. فقال عمر بن الخطاب لأبي بكر: يا خليفة رسول الله! إن خالدا قتل رجلًا مسلمًا، وتزوج امرأته من يومها. فكتب أبو بكر إلى خالد، فأشخصه، فقال: يا خليفة رسول الله صلى الله عليه وسلم إني تأولت، وأصبت، وأخطأت.
وكان متمم بن نويرة شاعرًا فرثى أخاه بمراث كثيرة، ولحق بالمدينة إلى أبي بكر، فصلى خلف أبي بكر صلاة الصبح، فلما فرغ أبو بكر من صلاته قام متمم فاتكأ على قوسه، ثم قال:
نعم القتيل إذا الرياح تناوحت ... خلف البيوت قتلت يا ابن الأزور
أدعوته بالله ثم غدرته ... لو هو دعاك بذمة لم يغدر
فقال: ما دعوته ولا غدرت به. وكتب أبو بكر إلى زياد بن لبيد البياضي في قتال من ارتد باليمن. ومنع الزكاة. فقاتلهم وكان لكندة ملوك عدة يتسمون بالملك، ولكل واحد منهم حمى لا يرعاه غيره، فأغار زياد ليلًا، وهم في محاجرهم، فأصاب الملوك: جمدًا ومخوصًا ومشرحًا وأبضعة، وسبى النعم وسبايا كثيرة، فعارضهم الأشعث بن قيس، فانتزع السبايا من أيديهم. وانتهى إلى أبي بكر بارتداد الأشعث، وما فعل، فوجه عكرمة بن أبي جهل في جيش لمحاربتهم، فوافى وقد حصرهم زياد بن لبيد والمهاجر بن أبي أمية، وقتلوا منهم مقتلة عظيمة، وغنموا مغانم كثيرة، فقال المهاجر وزياد لمن معهما: قد قدم إخوانكم من الحجاز، فأشركوهم، وأعطوهم، وطلب الأشعث الصلح، وأخذ الأمان لعشيرته، ونسي نفسه، فلما قرأ عكرمة الصحيفة وليس فيها اسم الأشعث كبر وأخذه، فأتى به أبا بكر في وثاق، فمن عليه أبو بكر، وأطلق سبيله، وزوجه أم فروة أخته.
وأراد أبو بكر أن يغزو الروم، فشاور جماعة من أصحاب رسول الله، فقدموا وأخروا، فاستشار علي بن أبي طالب، فأشار أن يفعل، فقال: إن فعلت ظفرت. فقال: بشرت بخير! فقام أبو بكر في الناس خطيبا، وأمرهم أن يتجهزوا إلى الروم، فسكت الناس، فقام عمر فقال: لو كان عرضا قريبا وسفرا قاصدا لانتدبتموه. فقام عمرو بن سعيد فقال: لنا تضرب أمثال المنافقين يا ابن الخطاب، فما يمنعك أنت ما عبت علينا فيه؟ فتكلم خالد بن سعيد، وأسكت أخاه فقال: ما عندنا إلا الطاعة، فجزاه أبو بكر خيرًا، ثم نادى في الناس بالخروج، وأميرهم خالد بن سعيد، وكان خالد من عمال رسول الله صلى الله عليه وسلم باليمن، فقدم وقد توفي رسول الله، فامتنع عن البيعة، ومال إلى بني هاشم، فلما عهد أبو بكر لخالد قال له عمر: أتولي خالدًا وقد حبس عنك بيعته، وقال لبني هاشم ما قد بلغك؟ فو الله ما أرى أن توجهه. فحل لواءه، ودعا يزيد بن أبي سفيان، وأبا عبيدة بن الجراح، وشرحبيل بن حسنة، وعمرو بن العاص، فعقد لهم، وقال: إذا اجتمعتم فأمير الناس أبو عبيدة.