غير أن الأمير ضيغم لم يحافظ على العلاقة الحسنة مع أمير مكة محمد بركات، الذي أصبح مقربًا من السلطان الأشرف قايتباي، فكان ذلك سببًا في عزله، ففي سنة 883هـ وقعت حادثة في المدينة المنورة قتل فيها القاضي الزكوري بن صالح، بسبب خلاف حول دار الأشراف العباسيين (1) ، ووصل الخبر إلى السلطان قايتباي في مصر، فأمر أمير ركب الحج بالتحقيق في القضية، فلما وصل الركب إلى المدينة خرج ضيغم منها ولم يقابل أمير الحج، فغضب أمير الحج ونقل الخبر إلى السلطان، فكتب السلطان إلى الشريف بركات ليتدخل بنفسه ويحقق في مقتل القاضي، ويعاقب المشاركين في الحادثة، وجاء الشريف محمد بن بركات إلى المدينة ومعه قوة مسلحة في العشر الأخير من رمضان في السنة نفسها، فلم يجد الأمير ضيغم، وعلم أنه خرج إلى البادية كي لا يقابله، فأرسل في طلبه، ورفض ضيغم الحضور، فكلف الشريف قسيطل بن زهير بن سليمان ـ ابن أمير المدينة الذي تولى الإمارة قبل ضيغم ـ بتسيير الأمور ووضع معه قوة مسلحة وعاد إلى مكة، وكتب إلى السلطان يخبره بما حدث، ويقترح عليه عزل الأمير ضيغم وتولية الشريف قسيطل بن زهير بن سليمان فجاءت المراسيم بذلك مع ركب الحج عام 883هـ، وانتهت إمارة ضيغم الذي لم يعد إلى المدينة، وقد حاول كل من الشريف محمد بن بركات والأمير الجديد قسيطل بن زهير القبض عليه ولكنهما لم يوفقا في ذلك، وظل ضيغم في بادية الحجاز مع أعوانه سنين طويلة لايدخل المدينة إلى أن وليها صديقه حسن بن زبيري فدخلها، وأصبح أحد مشاوريه، ولكنه لم يعد إلى الإمارة مطلقًا (2) .

(1) بدائع الزهور 3/ 145.

(2) انظر التحفة اللطيفة 2/ 253. وإتحاف الورى 4/ 635.