نشأ جعفر عليه رضوان الله تعالى في بيت أدب وعلم، وبيت نسب ورفعة، حيث نشأ في بيت أخواله عند جده القاسم كما قرر هذا طائفة من أهل العلم، وقالت طائفة: نشأ في بيت والده محمد الباقر، وفي كلا الحالين نشأ في بيت علم وأدب ورفعة ومنزلة، وتربى ودرج في مدينة رسول الله - صلى الله عليه وسلم -، التي كانت تعج بالعلماء من الصحابة وكبار التابعين، فأخذ العلم عن أبيه وعن جده زين العابدين الذي توفي سنة أربعة وتسعين، وكان عُمْرُ جعفر آنذاك أربع عشرة سنة.
كذلك أخذ العلم عن جده القاسم بن محمد؛ لأنه من كبار علماء المدينة وفقهائها، وأكثر عن أبيه محمد الباقر، وأخذ عن جمع من أهل العلم كما ذكر الذهبي في سير أعلام النبلاء. يقول الذهبي رحمه الله: «ولد سنة ثمانين، ورأى بعض الصحابة - رضي الله عنهم -، أحسبه رأى أنس بن مالك، وسهل بن سعد، وحدث عن أبيه أبي جعفر الباقر، وعبيد الله بن أبي رافع، وعروة بن الزبير، وعطاء بن أبي رباح - وروايته عنه في مسلم - وجده القاسم بن محمد، ونافع العمري، ومحمد بن المنكدر، والزهري، ومسلم بن أبي مريم وغيرهم، وليس هو بالمكثر إلا عن أبيه، وكان من جِلَّة علماء المدينة» [1] .
وقد حدث عنه خلق كثير ذكر عددًا منهم الذهبي في سير أعلام النبلاء، فقال رحمه الله: «حدث عنه ابنه موسى الكاظم، ويحيى بن سعيد الأنصاري ويزيد بن عبد الله بن الهاد - وهما أكبر منه - وأبو
(1) السير (6/ 255) .