وروي عن سعيد بن جبير، عن ابن عباس: (أنّ إبراهيم عليه السلام كان يبني البيت، وإسماعيل يناول الحجارة، ويقول: {رَبَّنَا تَقَبَّلْ مِنَّا إِنَّكَ أَنْتَ السَّمِيعُ الْعَلِيمُ} ! فلمَّا ارتفع البنيان، وضعف إبراهيم عن وضع الحجارة، قام على حجرٍ وهو مقام إبراهيم عليه السلام فبناء البيت كان متأخرًا من بناء مكة، وكُلّ منهما في زمن إبراهيم، أمّا الأول، فبناء إبراهيم، وأمّا الثاني، فبناء طائفة من جرهم، كما في تاريخ مكة.