فإذا هي حجارة كالإبل لا يطيق أن ينقل الحجر منها ثلاثون رجلًا، فأدخل الوليد المعول بين حجرين فانفلقت من حجر فلقة، فأخذها أحدهم بيده فطارت منه وعادت مكانها، وظهر من تحتها برقة كادت تخطف الأبصار، وارتجت مكة بأسرها، فأمسكوا عن الهدم وعزموا على البناء، فحسبوا ما جمعوه من المال الحلال، فإذا هو لا يفي بإعادة الكعبة كما كانت، فنقصوا منها ستة أذرع وشبرًا في الحجر، وبنوها مدماكًا من حجر ومدماكًا من خشب بعد أن اقتسموها، فبنى بنو زهرة وبنو عبد مناف جهة الباب، وبنوا مخزوم ومن انضم إليهم ما بين اليمانيين، وبنو جمح وبنو سهم ظهرها، وبنوا عبد الدار وبنوا أسد وبنوا عدي جهة الحِجر، بكسر الحاء.
ولما وصلوا إلى الحجر الأسود تنافسوا في وضعه واختلفوا، ثم اتفق رأيهم على تحكيم أول داخل من موضع كذا، فطلع النبي فقالوا: هذا الأمين، رضينا به، فوضعه عليه السلام بيده في مكانه بعد أن بسط رداءه أو غيره أولًا، ووضع فيه الحجر ودعا من كل قبيلة رجلًا، وأمرهم فرفعوا أطراف الرداء، وصعد عليه السلام فوق الجدار، فأخذه بيده من الرداء ووضعه مكانه، وكان عمره - كما مر - خمسًا وثلاثين سنة، وقيل: خمسًا وعشرين، ثم أكملوا بناءها وسقفوها، وجعلوا طولها في السماء ثمانية وعشرين ذراعًا، وقيل: عشرين.
وذكر الأزرقي أن طولها أولًا كان سبعة وعشرين ذراعًا، فاقتصرت قريش منها على ما ذكر، ونقصوا من عرضها أذرعًا أدخلوها في الحجر.