حينما عزل سيدنا خالد، وقصة عزله تعرفونها، وما عزله إلا مخافة أن يفتتن الناس به، لكثرة ما أبلى في سبيل الله، حينما أجرى على يديه نصرًا مؤزرًا، نصرًا تلو نصر، توهَّم الناس أنه ما من معركة فيها خالد إلا والنصر حليف المسلمين، فخشي هذا الخليفة أن يتوهَّم الناس أن النصر من عند خالد، فعزله إنقاذًا لعقيدة التوحيد، وتثبيتًا لهم، وربطًا لهم بالله عزَّ وجل، لكن هناك أقاويل كثيرة فشت بين الناس، فقال لهم مرةً: إني أعتذر إليكم من عزل خالد، فإني أمرته أن يحبس هذا المال على ضعفة المهاجرين فأعطى ذوي البأس، وذوي الشرف، وذوي اللسان, فنهض أبو عمرو بن حفص بن المغيرة, وقال: واللهِ ما أعذرت يا عمر؟ لقد نزعت فتى ولاه رسول الله عليه الصلاة والسلام، وأغمدت سيفًا سلَّه رسول الله عليه الصلاة والسلام، ووضعت امرأً رفعه رسول الله عليه الصلاة والسلام، وقطعت رحمًا، وحسدت بني العم، لكن سيدنا عمر لم يهتم بهذا الكلام، يعرف لماذا عزل هذا القائد الشجاع؟ عزله لحكمة راجحة عنده، فقال له مخاطبًا: إنك قريب قرابة حديث السن، تغضب في ابن عمك، يعني عَذَرَهُ، وما رأى في ذلك إلا تعاطفًا مع ابن عمه، دون أن يحاسبه على هذا الكلام الذي قاله.
النبي عليه الصلاة والسلام ذات مرة، وهذه القصة تُعَدّ شاهدًا واضحًا جدًا، فقبيل معركة بدر أصدر النبي عليه الصلاة والسلام توجيهًا لأصحابه:"لاّ تقتلوا عمي العباس"
(ورد في الأثر)