هذا القلق الذي كان يشعره أنه غريبٌ وسط قومه وأنه كان يشعر بضياع حقيقي ، ولا مكان له بين قومٍ أبت نفسه العيش معهم ، فاضطر تحت وطأة هذه المعاناة الشديدة إلى مغادرة دمشق الأندلس ، إلى المريّة ، وفي نفسه كثيرٌ من الأسى والتأسف على دياره التي استلذّ ظلمتها سنين عديدة ، وأبى أن يتركها دون أن يفعل شيئًا ينتقم به لنفسه من أولئك الذين جعلوه ينفر منها ، وقد أورد السلفي أنه ( كان لباديس بن حبوس صاحب غرناطة وزير يهودي فهلك واستوزر بعده نصرانيًا ، فقال أبو القاسم خلف بن فرج الإليبري(8) . الشاعر المنبوذ بالسُّمَيْسِر ثلاثة أبيات وكتب منها نسخًا عدّة ورماها في شوارع البلدة والطرقات وسار من ساعته إلى المريّة معتصمًا بالمعتصم بن صمادح ، وطارت الأبيات في أقطار الأندلس ولما وقف باديس عليها أرسل وراءه أصحاب الخيل ففاتهم ولم يلحقوه ، والأبيات هي: (9) .

كلُّ يومٍ إلى ورا ... بُزّل ... ... ... (10)

فزعانٌ تهوّدا ... وزمانُ تنصّرا

وسيصبو إلى المجو ... س إن الشيخُ عمّرا

أما المقّري فيورد أن سبب فرار السُّمَيْسِر إلى المرية يرجع إلى هجائه لعبدالله بن بلقين حفيد باديس وليس انتقاده لسياسة باديس المنفره حسبما أورد السلفي ، إذ أن السُّمَيْسِر في رواية المقّري لم يلجأ إلى المرية معتصمًا بملكها المعتصم وإنما بلغ هذا الأخير أن السُّمَيْسِر هجاه فاحتال في طلبه حتى حصل في قبضته ثم قال له أنشدني ما قلت فيِّ فقال له السُّمَيْسِر وحقّ من حصّلني في يدك ما قلت شرًّا فيك وإنما قلت:

رأيت آدم في نومي فقلت له ... أبا البرية إن الناس قد حكموا

أن البرابر نسلٌ منك قال إذن ... حواءُ طالقةٌ إن كان ما زعموا