وكان أبو عبد الرحمن رحمه الله زاهدا حتى إنه عود الكثير من طلبته على هذه الخصلة الحميدة التي كانت سببا: لنيلهم العلم فقد كان ابو عبد الرحمن زاهدا في مسكنه وملبسه بل ومأكله واذكر أنني عام 1413هـ قدمت من مكة المكرمة لطلب العلم فلما وصلت إلى دماج سألتهم عن مسجد الشيخ فدلوني عليه فدخلته وكنت أرقب باب المسجد متى يدخل الشيخ وظننت أن الشيخ سيدخل علينا وهو لابس البشت أي أنه مميز عن طلبته فلما دخل أبو عبد الرحمن المسجد ظننته القائم على المسجد لأننا اعتدنا بمكة أن نرى أنا سا يقومون بعناية المساجد فلما أخبروني أنه الشيخ . فتعجبت فقد كان ملبسه لا يتميز عن ملبس طلابه بل يفوقه بعض طلابه في ملبسه

ومن زهده رحمه الله إنه لم يبال بحطام الدنيا من مساكن وغيرها فبيته الذي يسكنه أكثره من الطين: هو بيت صغير ودخلت معه مرة إلى غرفته الخاصة فرأيت فرشها فإذا هو من الفرش المخططة المخصصة للمساجد فكان لا يبالي بأمور الدنيا أهم شيء عنده العلم والتقيت بإخينا أبي حاتم العودي بمكة المكرمة فقال لي إنه جاء بعض الناس من فاعلي الخير إلى أبي عبد الرحمن رحمه الله فأرادوا أن يبنوا له بيتا فقال لهم هاتوا المال فأخذ أبو عبد الرحمن منهم المال وبني به مسجدًا وبني غرفة صغيرة فوق المسجد ، فلما جاءوا قالوا لأبي عبد الرحمن أين البيت قال لهم هذا هو بيتي واراهم المسجد وأشار لهم إلى الغرفة الصغيرة التي فوق المسجد

ومن زهده في الدنيا أنه أوقف أرضا كبيرة كان يملكها لطلبته كي يبنوا فيها مساكن لهم وفيها الآن قرابة مائتين وخمسين بيتا أو أكثر .