قال ابن يُونُس: كان له قدر في الجاهلية ثم ذكر له قصة ثم ذكر أنه وفد على النَّبِيِّ صَلى الله عَلَيه وسَلم وأنه شَهِدَ فَتْح مِصْرَ قال، وكان اختط بعض المسجد فلما بنى الجامع سلم خطته فزيدت في المسجد وعوض عنها فأبى ان يقبل وفي ذلك يقول الشاعر لابنه عبد الرحمن:
وأبوك سلم داره واباحها ... لجباه قوم ركع وسجود