وكان سبب ذلك أنّ عبد الرحمن كان يضع عليه من يهينه وينازعه في أملاكه، فإذا أظهر حجّة الشريعة لا يعمل بها، ففطن لما يراد منه فقصد ماردة واجتمع عليه عشرون ألفا، فسار نحو عبد الرحمن، وخرج عبد الرحمن من قرطبة نحوه إلى حصن المدوّر.
ثمّ إن يوسف رأى أن يسير إلى عبد الملك بن عمر بن مروان، وكان واليا على إشبيلية، وإلى ابنه عمر بن عبد الملك، وكان على المدوّر، فسار نحوها، وخرجا إليه فلقياه، فاقتتلا قتالا شديدا، فصبر الفريقان وانهزم أصحاب يوسف وقتل منهم خلق كثير وهرب يوسف وبقي متردّدا في البلاد، فقتله بعض أصحابه في رجب من سنة اثنتين وأربعين بنواحي طليطلة وحمل رأسه إلى عبد الرحمن، فنصبه بقرطبة وقتل ابنه عبد الرحمن بن يوسف الّذي كان عنده رهينة، ونصب رأسه مع رأس أبيه، وبقي أبو الأسود بن يوسف عند عبد الرحمن الأمويّ رهينة، وسيأتي ذكره.
وأمّا الصّميل فإنّه لمّا فرّ يوسف من قرطبة لم يهرب معه، فدعاه الأمير عبد الرحمن وسأله عنه، فقال: لم يعلمني بأمره ولا أعرف خبره، فقال:
لا بدّ أن تخبر. فقال: لو كان تحت قدميّ ما رفعتهما عنه، فسجنه مع ابني يوسف. فلمّا هربا من السجن أنف من الهرب والفرار فبقي في السجن، ثمّ أدخل إليه بعد ذلك مشيخة مضر فوجدوه ميتا وعنده كأس ونقل فقالوا:
يا أبا جوشن قد علمنا أنّك ما شربت ولكن سقيت! ودفع إلى أهله فدفنوه.