ثم لبث عنهم ما شاء الله ، ثم جاء بعد ذلك وإسماعيل يبري نبلاً تحت دوحة قريباً من زمزم ، فما رآه قام إليه فصنعا كما يصنع الولد بالوالد والوالد بالولد ، ثم قال: يا إسماعيل إن الله أمرني بأمر. قال: فاصنع ما أمرك. قال: وتعينني... ؟ قال: وأعينك... قال: فإن الله أمرني أن أبني ههنا بيتاً ، وأشار إلى أكمة مرتفعة على ما حولها قال: فعند ذلك رفع القواعد من البيت ، فجعل إسماعيل يأتي بالحجارة وإبراهيم يبني ، حتى إذا ارتفع البناء جاء بهذا الحجر فوضعه له ، فقام عليه وهو يبني وإسماعيل يناوله الحجارة وهما يقولان: ربنا تقبل منا إنك أنت السميع العليم.
قال معمر: وسمعت رجلاً يقول: كان إبراهيم يأتيهم على البراق قال معمر: وسمعت رجلاً يذكر أنهما حين التقيا بكيا حتى أجابتهما الطير.
وأخرج ابن سعد فِي الطبقات عن أبي جهم بن حذيفة بن غانم قال: أوحى الله عز وجل إلى إبراهيم يأمره بالمسير إلى بلده الحرام ، فركب إبراهيم البراق وجعل إسماعيل أمامه وهو ابن سنتين وهاجر خلفه ، ومعه جبريل عليه السلام يدله على موضع البيت حتى قدم به مكة ، فأنزل إسماعيل وأمه إلى جانب البيت ، ثم انصرف إبراهيم إلى الشام ، ثم أوحى الله إلى إبراهيم أن يبني البيت ، وهو يومئذ ابن مائة سنة وإسماعيل يومئذ ابن ثلاثين فبناه معه ، وتوفي إسماعيل بعد أبيه فدفن داخل الحجر مما يلي الكعبة مع أمه هاجر ، وولي ثابت بن إسماعيل البيت بعد أبيه مع أخواله جرهم.
وأخرج الديلمي عن علي عن النبي صلى الله عليه وسلم فِي قوله {وإذ يرفع إبراهيم القواعد من البيت...} الآية. قال"جاءت سحابة على تربيع البيت لها رأس تتكلم ، ارتفاع البيت على تربيعي فرفعاه على تربيعها".