تمكن الحاسدون، والطامعون بالمناصب، منه إذ وجدوا في أبي الصلت منافسًا لهم عليها، وهم من الفئات الوصولية التي لا تقدّر أهل العلوم، ولا تدرك غير تأمين مصالحها، وتسلك أسوأ السبل لتنفيذ مآربها، ولو أدّت فعالها إلى الطوفان.. فأوغروا صدر الأفضل على وزيره، فذهب أمية ضحية غدرهم.. وتروى في ذلك روايتان، تتفقان في النتيجة وهي:"سجن أمية أبي الصلت لثلاث سنوات وشهر، وتقول الرواية الأولى، على لسان ياقوت الحموي بأن الحسّاد كانوا يعملون لإسقاط تاج المعالي فأوغرو صدر الوزير الأفضل الجمالي على كاتبه تاج المعالي فاعتقله. ووجد كاتب الأفضل الخاص (وهو بمنزلة أمية) السبيل إلى أبي الصلت بما اختلق له من المحال فحبسه الأفضل في سجن المعونة بمصر مدة ثلاث سنوات وشهر" (10) .
والرواية الأخرى ذكرها ابن أبي أصيبعة في عيون الأنباء فقال:"حدثني الشيخ سديد الدين المنطقي في القاهرة سنة اثنتين وثلاثين وستماية: أن أبا الصلت أمية بن عبد العزيز، كان سبب حبسه في الإسكندرية، أن مركبًا كان قد وصل إليها. وهو موقر بالنحاس فغرق قريبًا منها. ولم تكن لهم حيلة في تخليصه منه لطول المسافة في عمق البحر. ففكر أبو الصلت في أمره وأجال النظر في هذا المعنى، حتى تلخص له فيه رأي، واجتمع بالأفضل ابن أمير الجيوش ملك الإسكندرية وأوجده أنه قادر، إن تهيأ له جميع ما يحتاج إليه من الآلات، أن يرفع المركب من قعر البحر، ويجعله على وجه الماء، مع ما فيه من الثقل. فتعجب من قوله، وفرح به، وسأله أن يفعل ذلك."