وكان المسجد في عهد النبي صلى الله عليه وسلم وعهد أبي بكر صغيرًا لا تتجاوز مساحته (2126م2) ولم يكن له جدار يحميه، وكانت الدور محيطة به وأبوابها مشرعة عليه، وبقي كذلك إلى زمن عمر بن الخطاب سنة 17هـ لما جاء (سيل أم نهشل) ودهم الكعبة، وأزاح المقام عن مكانه، وانهدمت بعض جدران المسجد، فأخذ الناس (المقام) وألصقوه بباب الكعبة، فذعر الخليفة بن الخطاب رضي الله عنه، وجاء فسأل الناس من يعرف مكان مقام إبراهيم في عهد النبي صلى الله عليه وسلم؟ فقال ابن أبي وداعة: أنا أعرفه يا أمير المؤمنين لقد قسته بمقاط (حبال) عندي، ثم قال له: اجلس عندي، وأرسل من يأتي بها. فلما جيء بها قاسوا ما بين الكعبة وموضعه قبل السيل فوضعوه في مكانه اليوم، ثم أمر الخليفة أن تشترى دور يوسع بها المسجد، فاشتريت فأدخلت فيه، ومن لم يرضَ من أصحاب تلك الدور أخذ ثمن داره فجعل في خزانة الكعبة يأخذه هو أو ورثته متى شاء وقال لهم: (إنما نزلتم على الكعبة فبنيتم في فنائها ولم تنزل عليكم. ثم أمر أن يحاط المسجد ببناء قصير، وبلغت مساحة توسعة عمر بن الخطاب هذه(3613م2) .

وفي عهد الخليفة عثمان بن عفان رضي الله عنه سنة 26هـ قام بشراء عدد من الدور المجاورة للمسجد، واتخذ له أروقة مسقوفة بعد أن كان فضاء مكشوفا، وبلغت مساحة المسجد في عهده (4482م2) .

وفي عهد عبد الله بن الزبير بعد أن احترقت الكعبة عام 65 من الهجرة لما رماها الحجاج بالمنجنيق، فزاد ابن الزبير من مساحة المسجد زيادة، كبيرة حيث بلغت مساحتة في عهد (7465م2) .

وفي عهد الخليفة عبد الملك بن مروان وسع في المسجد حتى بلغت مساحته (10270م2) وأتى بأساطين (أعمدة) الرخام من الشام ومصر، وسقفه بخشب الساج المزخرف، وجعل على رؤوس الأساطين صفائح الذهب، وفرش أرضية الحرم بالرخام.