ولكنهم هابوا هدمه خشية أن يحل بهم عذاب، فقال الوليد: أنا أهدمه، وأنا شيخ كبير فإن مت فبفراغ أجلي، فأخذ معولًا فصعد ليهدم به، فتحرك تحت رجليه حجر فقال: اللهم لا ترِع - بالراء المكسورة والعين المهملتين، وروي بالزاي والغين المعجمتين؛ أي: لا تزلزل - بنا فإنما أردنا الإصلاح، فهدم فأمن الناس وهدموا معه، حتى بلغوا قواعد إبراهيم، وأصلها من بناء الملائكة كما مر.

وروى الطبراني والحاكم عن أبي الطفيل قال: كانت الكعبة في الجاهلية مبنية بالرضم ليس فيها مدر وكانت قدر ما يقتحمها العفاق وكانت ثيابها توضع عليها تسدل سدلًا، وكانت ذات ركنين كهيئة هذه الحلقة، فأقبلت سفينة من الروم حتى إذا كانوا قريبًا من جدة انكسرت، فخرجت قريش لتأخذ خشبها، فوجدوا الرومي

الذي فيها نجارًا فقدموا به وبالخشب ليبنوا به البيت، فكانوا كلما أرادوا القرب لهدمه بدت لهم حية فاتحة فاها، فبعث الله طيرًا أعظم من النسر فغرز مخالبه فيها فألقاها نحو أجياد، فهدمت قريش الكعبة وبنوها بحجارة الوادي، فرفعوها في السماء عشرين ذراعًا، فبينما النبي يحمل الحجارة من أجياد وعليه نمرة فضاقت عليه، فذهب يضعها على عاتقه فبدت عورته فنودي: يا محمد! خمر عورتك، فلم ير عريانا بعد ذلك.