البيت فلما بلغا القواعد بنيا الركن قال إبراهيم لإسماعيل يا بني اطلب لي الحجر الأسود من الهند وكان أبيض ياقوتة بيضاء مثل النعامة وكان آدم هبط به من الجنة فاسود من خطايا الناس فجاءه إسماعيل بحجر فوجده عند الركن فقال يا أبتي من جاءك بهذا قال جاء به من هو أنشط منك فبنيا وهما يدعوان الله ربنا تقبل منا إنك أنت السميع العليم وذكر ابن أبي حاتم أنه بناه من خمسة أجبل وأن ذا القرنين وكان ملك الإرض إذ ذاك مر بهما وهما يبنيانه فقال من أمركما بهذا فقال إبراهيم الله أمرنا به فقال وما يدريني بما تقول فشهدت خمسة أكبش أنه أمره بذلك فآمن وصدق
وذكر الأزرقي أنه طاف مع الخليل بالبيت وقد كانت على بناء الخليل مدة طويلة ثم بعد ذلك بنتها قريش فقصرت بها عن قواعد إبراهيم من جهة الشمال مما يلي الشام على ما هي عليه اليوم وفي الصحيحين من حديث مالك عن ابن شهاب عن سالم أن عبد الله بن محمد بن أبي بكر أخبر بن عمر عن عائشة أن رسول الله صلى الله عليه وسلم قال ألم ترى إلى قومك حين بنوا الكعبة اقتصروا عن قواعد إبراهيم فقلت يا رسول