وكذلك فإن عليًا رحمه الله كان من المتواضعين، ومما يدل على تواضعه وحسن خلقه الآتي: كان ابن المديني رفيقًا وصديقًا وقرينًا لـ أحمد بن حنبل، لكنه كان يقول: قال لي سيدي أحمد بن حنبل: لا تحدث إلا من كتاب.
وقال مرة: نهاني سيدي أحمد بن حنبل أن أحدث إلا من كتاب.
وقال فيه: لنا فيه أسوة حسنة.
-وكان رحمه الله لا يتردد في الاستفادة ممن هو أصغر منه في السن، وكان يقول: إن العلم ليس بالسن.
-قال محمد بن يونس القديمي البصري وهو أحد تلاميذ ابن المديني:"قال لي ابن المديني: عندك ما ليس عندي"، وهذا من التواضع، فلو حصل لبعض الناس ربما تظاهر أمام التلميذ أنه يعرف المعلومة منذ زمن بعيد، أما أن يقول: إنني استفدتها منك، أو عندك ما ليس عندي، فهذا بعيد عمن لم يكن من أهل التواضع، فكان ابن المديني يقول لتلميذه محمد بن يونس القديمي: عندك ما ليس عندي.
وكان إذا مُدِحَ يأبى ذلك ويحول الكلام، فعندما ذكر له قول محمد بن إسماعيل البخاري: ما تصاغرتُ نفسي عند أحد إلا عند علي بن المديني، قال: ذروا قوله، هو ما رأى مثل نفسه.
خطر في ذهن أحمد بن حنبل أن يسافر مع علي بن المديني إلى مكة، ولكن خوفه على ذهاب تلك الأخوة والمحبة ترك السفر معه، حيث قال أحمد بن حنبل: إني لأشتهي أن أصحبك إلى مكة، وما يمنعني إلا خوف أن أمَلَّك أو تَمَلَّني.
قال علي بن المديني: فلما ودعته، قلت: أوصني.
قال أحمد بن حنبل: اجعل التقوى زادك، وانصب الآخرة أمامك.
فالعادة أن الأدنى يطلب الوصية من الأعلى.
علي بن المديني رحمه الله كان قرينًا لـ أحمد وصديقًا له ولم يكن تلميذًا، ومع ذلك يقول لـ أحمد رحمه الله: أوصني، وهذا من تواضعه رحمه الله تعالى.
وفيه من الفائدة: أنه أحيانًا ربما ترك الأخ مخالطة أخيه الطويلة خشية حدوث الملل من الصحبة، حفاظًا على المودة، أو دوامًا وإبقاءً للعلاقة بحيث لا تفتر، أي: ترك الخلطة الزائدة إبقاءً لدرجة الأخوة ألَّا تنزل أو تهبط.