كان رحمه الله بصيرًا في علم العلل؛ حتى قال عنه علي بن المديني: علم عبد الرحمن بن مهدي في الحديث كالسحر.
وهو يقول عن نفسه: لئن أعرف علة حديث أحبُّ إليََّ من أن أستفيد عشرة أحاديث.
وكذلك قال علي بن المديني: سمعت عبد الرحمن بن مهدي يقول: خالفني ابن المبارك في حياة سفيان في حديث عن إبراهيم في عدة أم الولد، قال: ليس هو حديث ابن أبي ثابت، ابن المبارك رحمه الله رأى هذا، وقد كان من كبار الحفَّاظ، قال عبد الرحمن: فسألت سفيان عنه، فقال: هو حديث ابن أبي ثابت، فـ سفيان الثوري أكَّد ما حفظه عبد الرحمن.