لم تدم حياة الرغد ولين العيش على أجواء ابن حزم، وذلك بعد أن انتهت الدولة العامرية في سنة 400 هـ التي كان أبوه أحد وزرائها، جاء الولاة الصقليون فممن أنزلوا به العقوبات والد ابن حزم، الذي ما لبث أن سجن وصودرت أمواله كلها، فكان لتلك الأحداث أثر بالغ على ابن حزم، فخيم الحزن عليه، ولا يبعد أن يكون ذلك السبب الكامن وراء فجاجة عبارته، وقوة لسانه على مخالفيه، فإن الإنسان ضعيف، وهذه النكبات كفيلة بأن تؤثر على نفسية الشخص، لاسيما تحول الرخاء إلى شظف وعناء وجفاء، فإن الإنسان قلما يصبر على هذا الوضع.
قال الحافظ الذهبي [1] :"وقد امتحن هذا الرجل وشدد عليه وشرد عن وطنه، وجرت له أمور، وقام عليه الفقهاء؛ لطول لسانه، واستخفافه بالكبار، ووقوعه في أئمة الاجتهاد بأفج عبارة، وأفظ محاورة، وأبشع رد، وجرى بينه وبين أبي الوليد الباجي [2] مناظرة ومنافرة. فتمالؤا على بغضه وأجمعوا على تضليله وحذروا سلاطينهم من فتنته ونهوا عوامه عن مجالسته فأقصته الملوك وطاردته وحرقت كتبه، فحزن كثيرًا على ذلك وأنشد أبياتًا:"
(1) هو الحافظ أبو عبد الله محمد بن أحمد بن عثمان بن قايماز الذهبي، ولد سنة 673 هـ، هو حافظ مؤرخ وعلامة محقق، وكان مكثرًا من التصانيف، وكان من أئمة الإسلام في زمانه من مؤلفاته: سير أعلام النبلاء، والعرش، توفي سنة 748 هـ. انظر: طبقات السبكي 5/ 216، الشذرات 6/ 153.
(2) هو سليمان بن خلف بن سعد التجيبي، يكنى بأبي الوليد، ولد في باجه بالأندلس عام 403 هـ، فقيه مالكي، رحل إلى الحجاز عام 426 ثم مكث هناك ثلاث سنين ثم رجع، كان مكثرًا من التصانيف من مؤلفاته: المنتقى، وشرح المدونة، توفي بالمرية من الأندلس عام 474 هـ.
انظر: الديباج المذهب، ص 120. الوفيات 1/ 215.