مما يعني ان اهل قم لم يكونوا يعرفون بوجود ولد للامام العسكري ، ولم يكونوا يعرفون هوية الإمام الجديد من قبل ، ولم يكن يوجد لديهم أي مانع لقبول إمامة جعفر بن علي ، أي انهم لم يكونوا يلتزمون بقانون الوراثة العمودية في الإمامة ، ويجيزون إمامة الأخوين .
وكانت العقبة الرئيسية التي حالت دون إيمان بعض الشيعة بإمامة جعفر هو المبدأ القديم المشكوك فيه الرافض لاجتماع الإمامة في أخوين بعد الحسن والحسين ، وقد طرحه وفد قم على جعفر بن علي أثناء الحوار ، فأجابهم بـ: ( ان الله قد بدا له في ذلك) ، كما يقول الخصيبي في (الهداية الكبرى)
وتقول بعض الروايات التي ينقلها الصدوق والطوسي: ان وفد قم طالب جعفر بالكشف عن كمية الأموال التي كان يحملها معه واسماء أصحابها ، غيبيا ، كما كان يفعل أخوه العسكري ، وان جعفر رفض ذلك الطلب و الادعاء ، واتهم الوفد بالكذب على أخيه ، وأنكر نسبة علم الغيب اليه.
كما تحاول بعض الروايات ان تتهم جعفر بالفسق وشرب الخمر والجهل وإهمال الصلاة (10) وذلك في محاولة لإبطال دعواه في الامامة ، ولكن عامة الشيعة لم يأخذوا بتلك الاتهامات ، ولم يطرحوا مسألة علم الغيب ، وقد عزوه وهنئوه بالإمامة ، وكانت المشكلة الرئيسية لدى البعض منهم هي مسألة الجمع بين الأخوين في الامامة ). وقد ارتكز الطوسي عليها في عملية الاستدلال على نفي إمامة جعفر و افتراض جود ابن الحسن ، وادعى عدم الخلاف حولها بين الامامية .