كما تم ترميم المسجد عام 271هـ، 884م في عهد الخليفة العباسي المعتمد على الله، وضم الخليفة أبو العباس المعتضد بالله دار الندوة، وجعل مكانها مسجدا، وأضاف منارة عرفت بمنارة باب زيادة. وأجريت عدة تحسينات أخرى.
في العصر المملوكي، تعرض المسجد لأمطار غزيرة أدت إلى سقوط مئذنة باب الحازورة، واجتاح السيل مرة أخرى وادي إبراهيم وأجياد؛ فدخلت المياه إلى المسجد الحرام، فسقط عمودان من أعمدة المسجد بما عليهما. كما شب حريق في السنة نفسها أتى على الجانب الغربي من المسجد، فتم تجديد المسجد وعمارته تجديدا شاملا خلال ذلك العصر.
في العهد العثماني، أجرى السلطان سليمان عمارة للمسجد الحرام عام 972هـ، 1564م، وأهدى المسجد منبرا رخاميا مطعما بالمرمر، وأنشأ المدارس الأربع في الجهة الشمالية. في عهد السلطان سليم العثماني، بدأت عمارة أخرى للمسجد الحرام، وتمت في عهد خليفته السلطان مراد عام 984هـ، 1576م. بلغت مساحة المسجد الحرام في العمارة العثمانية الأخيرة 28,003م. كما تمت عدة ترميمات وإصلاحات أخرى في نهاية العهد العثماني، كان آخرها عمارة السلطان محمود رشاد.