أبو محمد عبد المنعم بن محمد بن عبد الرحيم بن أحمد الخزرجي القاضي المعروف بابن الفرس المالكي، من أهل غرناطة وبيوتاتها الأصيلة؛ وحكى ابن الصيرفي أن جده أبا القاسم سمع بغرناطة أول الدولة المرابطية على القاضي أبي الأصبغ ابن سهل. وحكى أيضًا أن أبا بكر ابن جعفر القليعي ولاه قضاء المنكب فتقبله كارهًا، وكان فقيهًا حافظًا مبرزًا وإليه كانت الرحلة في وقته؛ وذكر أنَّه من أهل بيت علم وجلالة بغرناطة قلت: غاب عن الصيرفي من كان منهم بشارقة الأشراف من عمل بلنسية.
سمع أبو محمد أباه وجدَّه أبا القاسم وتفقه في كتب أصول الدين