ولما أخذ ابن الزبير الحجر الأسود جعله في ديباجة وأدخله في تابوت وأقفل عليه ووضعه عنده في"دار الندوة"وعمد على ما كان في الكعبة من حلية فوضعه في خزانة الكعبة في"دار شيبة بن عثمان"ثم شرع في البناء من وراء الستر، فكانوا يبنون والناس يطوفون من خارج، فلما ارتفع البنيان إلى موضع الركن الأسود أمر ابن الزبير ولده: عبادا وجبير بن شيبة بن عثمان الحجبي أن يجعلا الركن الأسود في ثوب، وقال لهما: إذا دخلت في صلاة الظهر فاحملاه واجعلاه في موضعه / فأنا أطول الصلاة، فإذا فرغتم فكبروا حتى أخفف صلاتي.

فخرج عباد وجبير بالحجر من دار الندوة والناس في صلاة الظهر، وكان حرا شديدا، فخرقا به الصفوف حتى أدخلا في الستر، فوضعه عباد مكانه، وأعانه عليه جبير، فلما أقراه مكانه وطوبق عليه الحجران كبروا، فخفف ابن الزبير الصلاة، ثم علم الناس بذلك فغضب رجال من قريش. حيث لم يحضرهم ابن الزبير.

فلما بلغ البناء ثمانية عشر ذراعا في السماء، وكان ذلك ارتفاعها في بناء قريش، فقصرت للزيادة التي زيدت فيها من الحجر، وصارت عريضة لا طول لها.

قال ابن الزبير: فكانت قبل قريش سبعة أذرع، فزادت فيها قريش تسعة أذرع، فأنا أزيد فيها تسعة أذرع أخرى فجعل طولها سبعة وعشرين ذراعا، وهي سبعة وعشرون مدماكا، وعرض جدارها ذراعان، وجعل فيها ثلاث دعائم في صف، وكانت قريش جعلت فيها ست دعائم في صفين.