فلما توفي أبو بكر - رضي الله عنه - وتولى الخلافة عمر بن الخطاب - رضي الله عنه - ووجد أن المسلمين قد ضاق بهم المسجد فقام بتوسعة المسجد من جهتين وترك الجهة التي التصق بها البيت النبوي ثم لما مات عمر - وكانت خلافته لمدة عشر سنوات أو يزيد قليلا - تولى الخلافة عثمان بن عفان - رضي الله عنه - فرأى أن المسجد قد ضاق بالمسلمين فقام بتوسعة المسجد من الجهات الثلاث وترك الجهة التي كانت ملاصقة للبيت وخلال هذه التوسعة التي كانت في عهد عمر - رضي الله عنه - والتي كانت في عهد عثمان - رضي الله عنه - لم يتغير الوضع وظل كما تركه النبي - صلى الله عليه وسلم - وإذا كان النبي - صلى الله عليه وسلم - قد قال (( عَلَيْكُمْ بِسُنَّتِي وَسُنَّةِ الخُلَفَاءِ الرَّاشِدِينَ المَهْدِيينَ مِن بَعْدِي عَضُّوا عَلَيْهَا بِالنَّوَاجِذِ ) )كما روى الإمام أحمد في مسنده في الحديث رقم [16522]

حَدَّثَنَا الْوَلِيدُ بْنُ مُسْلِمٍ حَدَّثَنَا ثَوْرُ بْنُ يَزِيدَ حَدَّثَنَا خَالِدُ بْنُ مَعْدَانَ قَالَ حَدَّثَنَا عَبْدُ الرَّحْمَنِ بْنُ عَمْرٍو السُّلَمِيُّ وَحُجْرُ بْنُ حُجْرٍ قَالَا أَتَيْنَا الْعِرْبَاضَ بْنَ سَارِيَةَ وَهُوَ مِمَّنْ نَزَلَ فِيهِ (وَلَا عَلَى الَّذِينَ إِذَا مَا أَتَوْكَ لِتَحْمِلَهُمْ قُلْتَ لَا أَجِدُ مَا أَحْمِلُكُمْ عَلَيْهِ) فَسَلَّمْنَا وَقُلْنَا أَتَيْنَاكَ زَائِرِينَ وَعَائِدِينَ وَمُقْتَبِسِينَ فَقَالَ عِرْبَاضٌ صَلَّى بِنَا رَسُولُ اللَّهِ - صلى الله عليه وسلم - الصُّبْحَ ذَاتَ يَوْمٍ ثُمَّ أَقْبَلَ عَلَيْنَا فَوَعَظَنَا مَوْعِظَةً بَلِيغَةً ذَرَفَتْ مِنْهَا الْعُيُونُ وَوَجِلَتْ مِنْهَا الْقُلُوبُ فَقَالَ قَائِلٌ يَا رَسُولَ اللَّهِ كَأَنَّ هَذِهِ مَوْعِظَةُ مُوَدِّعٍ فَمَاذَا تَعْهَدُ إِلَيْنَا فَقَالَ (( أُوصِيكُمْ بِتَقْوَى اللَّهِ وَالسَّمْعِ وَالطَّاعَةِ وَإِنْ كَانَ عَبْدًا حَبَشِيًّا فَإِنَّهُ مَنْ يَعِشْ مِنْكُمْ بَعْدِي فَسَيَرَى اخْتِلَافًا كَثِيرًا فَعَلَيْكُمْ بِسُنَّتِي وَسُنَّةِ