وقالت فرقة أخرى: كانت خلافة أبي بكر وعمر وعثمان وعلي ومحمد بن الحنفية كلها باطلة لأن الخلافة حقٌّ لعمِّ النبيِّ ووارثه «العباس بن عبد المطلب» ، فقد كان أقرب الناس إلى النبي صلى الله عليه وآله وسلم، وبعد وفاة العباس انتقلت الإمامة إلى ابنه عبد الله بن عباس وبعده إلى ابنه «علي بن عبد الله» ، ثم قالوا بعده بإمامة «إبراهيم بن محمد» ، ثم اعتبروا أخاه «عبد الله بن العباس» المعروف بالسفاح إمامًا ثم قالوا بإمامة أخيه من بعده «عبد الله بن جعفر المنصور» . وأوصى أبو العباس السفاح بالخلافة من بعده إلى أبي جعفر المنصور وإلى ابن أخيه عيسى بن موسى بن محمد بن علي بن عبد الله بن عباس. وقام عبد الله بن علي بن عبد الله بمنازعة المنصور على الخلافة، وادعى الإمامة وأنه خليفة أبي العباس السفاح، فقاتله أبو مسلم وهزمه..الخ
وقالت فرقة إن الإمام هو من قام بالسيف، فقالوا بإمامة علي بن أبي طالب والحسين بن علي، ثم من بعده قالوا بإمامة «زيد بن علي بن الحسين» ثم بإمامة ابنه «يحيى بن زيد» وبعده بإمامة «عيسى» وبعده بإمامة «محمد بن عبد الله» المعروف بالنفس الزكية. وبعد مقتل محمد بن عبد الله النفس الزكية قال جماعة لم يمت بل غاب واختفى وسيظهر ويقوم قريبًا. وقالت فرقة بإمامة «جعفر بن محمد» (الإمام جعفر الصادق) . وأوصى الإمام جعفر أثناء حياته بالإمامة من بعده إلى ابنه إسماعيل، لكن إسماعيل توفي في حياة أبيه، فأنكرت جماعة موت إسماعيل في حياة أبيه لأن أباه أشار إليه بالإمامة بعده وقلدهم ذلك له، وأخبرهم أنه صاحبهم، والإمام لا يقول إلا الحق، وهؤلاء هم فرقة الإسماعيلية.