هو أخو موسى الهادي، وهو الخامس من بني العباس.
قال إبراهيم الموصلي في تهنئة الخلافة عندما ولي الرشيد بعد أخيه موسى الهادي:
ألم تر أن الشمس كانت مريضة ... فلما أتى هارون أشرق نورها
تلبست الدنيا جمالًا بملكه ... فهارون واليها ويحيى وزيرها
قدم أعرابي حين ولي هارون الخلافة فقيل له: فيم جئت؟ قال: أتيت برسالة.
قال: ائت بها.
قال: أتاني آت في منامي فقال: ائتِ أمير المؤمنين فابلغه هذه الأبيات:
توارثت الخلافة في قريشٍ ... تزف إليكما أبدًا عروسا
إلى هارون تهدي بعد موسى ... تميس، وما لها أن لا تميسا
فأعطاه الرشيد عطاء جزيلًا وصرفه.
بويع له بالخلافة في الليلة التي توفي فيها أخوه وولد في تلك الليلة المأمون، وكانت ليلة عظيمة لم ير مثلها في بني العباس مات فيها خليفة، وولي فيها خليفة، وولد فيها خليفة.
ولما بويع الرشيد قلد جعفر بن يحيى بن خالد بن برمك وزارته. وسيأتي إيقاع الرشيد بالبرامكة وسبب ذلك.