وقد رد ابن عطية هذه الروايات فقال:
واختلف بعض رواة القصص: فقيل إن آدم أمر ببنائه ، فبناه ، ثم دثر ودرس حتى دل عليه إبراهيم فرفع قواعده ، وقيل: إن آدم هبط به من الجنة ، وقيل: إنه لما استوحش في الأرض حين نقص طوله وفقد أصوات الملائكة أهبط إليه وهو كالدرة ، وقيل: كالياقوتة ، وقيل: إن البيت كان ربوة حمراء ، وقيل بيضاء ، ومن تحته دحيت الأرض ، وإن إبراهيم ابتدأ بناءه بأمر الله ورفع قواعده.
والذي يصح من هذا كله أن الله أمر إبراهيم برفع قواعد البيت ، وجائز قدمه وجائز أن يكون ذلك ابتداء ، ولا يرجح شيء من ذلك إلا بسند يقطع العذر ، وقال عبيد بن عمير: رفعها إبراهيم وإسماعيل معًا ، وقال ابن عباس: رفعها إبراهيم ، وإسماعيل يناوله الحجارة ، وقال علي بن أبي طالب: رفعها إبراهيم ، وإسماعيل طفل صغير.
قال القاضي أبو محمد: ولا يصح هذا عن علي رضي الله عنه ، لأن الآية والآثار تردهُ. أ هـ {المحرر الوجيز حـ1 صـ 210}
وقد رد أبو حيان هذه الروايات بقوله:
ذكر المفسرون في ماهية هذا البيت وقدمه وحدوثه ، ومن أي شيء كان باباه ، وكم مرة حجة آدم ، ومن أي شيء بناه إبراهيم ، ومن ساعده على البناء ، قصصًا كثيرة. واستطردوا من ذلك للكلام في البيت المعمور ، وفي طول آدم ، والصلع الذي عرض له ولولده ، وفي الحجر الأسود ، وطولوا في ذلك بأشياء لم يتضمنها القرآن ولا الحديث الصحيح. وبعضها يناقض بعضًا ، وذلك على جري عاداتهم في نقل ما دب وما درج. ولا ينبغي أن يعتمد إلا على ما صح في كتاب الله وسنة رسول الله ـ صلى الله عليه وسلم ـ. أ هـ {البحر المحيط حـ1 صـ 558}