وفي 10 تشرين الثاني / نوفمبر 1848 (13 ذي الحجة 1264هـ) توفي حاكم مصر إبراهيم باشا قبل أبيه، فخلفه الخديوي عباس ابن أخيه الأكبر طوسون في 4 كانون الأول /ديسمبر 2آب /أغسطس 1849م توفي محمد علي، فاستقل عباس في حكم البلاد حكمًا مطلقًا. وبعد أقل من عام قاد عباس انقلابًا رجعيًا ضد التيار التحرري والتنويري والتطويري بمصر لصالح التيار الإقطاعي الظلامي الجمودي الذي كان يعمل على إبقاء مصر مرتبطة بالدولة العثمانية ويحظى بمباركة الاستعمار البريطاني الكامل.
-وكان لا بد ان يصيب رفاعة سوء في عهد عباس لكونه رمزًا من رموز الحركة الوطنية والتحريرية، وعاملًا نشيطًا في ميدان التنوير الفكري والتقدم الاجتماعي والثقافي.
وهكذا أغلقت مدرسة الألسن، وحصر توزيع جريدة الوقائع المصرية بعدد من الأتباع ونفي رفاعة إلى السودان عام 1850 وعُيّن ناظرًا لمدرسة ابتدائية ووضع تحت المراقبة.
لقد أدرك رفاعة طبيعة هذه الردّة وغرضها فكتب في السودان عنها:"إنها كانت لمجرد الحرمان من النفع الوطني".
-ولم يدَعْ رفاعة الوقت يضيع سدىً في السودان حيث لبث منفيًا سنوات أربعًا فترجم رواية"مغامرات تلماك"تأليف فينيلون. وهي رواية مستقاة من الميتولوجيا اليونانية وتتضمن نصحًا لأولياء الأمور. ويغلب على الظن أن رفاعة حاول الهرب من المنفى وخطط لذلك وأرسل الرسائل إلى أهله بطهطا وإلى صحبه بالقاهرة لمساعدته.
6-عمل رفاعة في عهد سعيد:
وتوفي عباس الأول وخلفه سعيد الابن الأصغر لمحمد علي في حكم مصر عام 1854م كان سعيد ذا تفكير حر وميل للاقتداء بالغرب ولكن اهتمامه بأمور الجيش صرفه عن الشؤون الأخرى، فلم يتح لرفاعة خلال حكم سعيد الذي امتد عشر سنوات، أن يعيد المؤسسات المغلقة والملغاة.
ولكن ما الذي فعله خلال هذه المدة؟
-عُيّن عضوًا ومترجمًا في مجلس محافظة القاهرة.