فلما وليت خزاعة البيت حفظوه مما كانت جرهم استباحته وتوافروا على تعظيمه والذب عنه وكان الذي يليه منهم عمرو بن الحارث الغبشاني ثم قومه من بعده وقريش إذ ذاك حلول وصرم متقطعون و بيوتات متفرقون في قومهم من بني كنانة
فأقامت خزاعة على ولاية البيت يتوارثون ذلك كابرا عن كابر حتى كان آخرهم حليل بن حبشية بن سلول بن كعب بن عمرو الخزاعي
وبعده انتقلت ولاية البيت إلى قصي بن كلاب
وكان من حديث قصي أنه لما هلك أبوه كلاب بن مرة خلف ولديه زهرة وقصيا مع أمها فاطمة بنت سعد بن سيل من عذرة وزهرة يومئذ رجل وقصي فطيم فقدم مكة بعد مهلك كلاب حاج من قضاعة فيهم ربيعة بن حرام بن ضنة بن عبد كبير بن عذرة فتزوج فاطمة بنت سعد فاحتملها إلى بلاده فاحتملت ابنها قصيا لصغره وأقام زهرة في قومه
فولدت فاطمة لربيعة رزاحا فكان أخا قصي لأمه وكان لربيعة بنون ثلاثة من امرأة أخرى وهم حن ومحمود وجلهمة بنو ربيعة
وأقام قصي بأرض قضاعة لا ينسب إلا إلى ربيعة بن حرام
فناضل يوما رجلا من قضاعة يدعى رفيعا فنضله قصي وهو يومئذ شاب فغضب المنضول فوقع بينهما حتى تقاولا وتنازعا فقال رفيع ألا تلحق ببلدك وبقومك فإنك لست منا
فرجع قصي إلى أمه وقد وجد في نفسه مما قال فسألها عن ذلك فقالت أوقد قال هذا أنت والله يا بني أكرم منه نفسا ووالدا ونسبا وأشرف منزلا أنت ابن كلاب بن مرة بن كعب بن لؤي بن غالب بن فهر بن مالك بن النضر بن كنانة القرشي وقومك بمكة عند البيت الحرام وفيما حوله تفد