ورأى نفسه المسئول الأول عن كل شؤون رعيته، ورآه الناس من أول عهده بالخلافة مغتما. فقال له مولاه:"مالي أراك مغتما؟ قال لمثل ما أنا فيه فليغتم!! ليس أحد من الأمة إلا وأنا أريد أن أصل إليه حقه غير كاتب إلي فيه، ولا طالب مني".
ولقد رفع عمر بن عبد العزيز الجزية عمن أسلم من أهل الذمة، فزاد بذلك الإقبال على الإسلام، وإن كان ذلك سببا في نقص بيت المال، ورفض طلبا من أحد ولاته بعدم رفع الجزية عن هؤلاء، حتى لا يضر ذلك ببيت المال، فكتب إليه عمر يقول:"فضع الجزية عمن أسلم قبح الله رأيك، فالله إنما بعث محمدا هاديا، ولم يبعثه جابيا".
وتحمس عمر لنشر الإسلام في البلاد التي فتحها، وقدم للناس فيها مختلف ألوان الإغراء والمساعدة، وأمر عماله في الولايات بدعوة أهل الذمة إلى الإسلام، حتى إن أحد هؤلاء العمال في خراسان اعتنق الإسلام على يديه أربعة آلاف شخص، ومن أثر هذه الحماسة والإغراء انتشر الإسلام في بلاد ما وراء النهر وفي بلاد السند وتسمى الناس هناك بأسماء العرب.
وأرسل عشرة من فقهاء المسلمين إلى المسلمين من البربر، ليفقهوهم في الإسلام. وكان يميل إلى التسامح مع أهل الذمة، ويحب المسالمة مع خصومه، ويطلبهم للمناظرة، كما فعل ذلك مع الخوارج.
وأحب العدل والإنصاف وأمر القضاة بالحرص عليه، وراقب عماله في الأقاليم، وامتلأ بلاطه من أهل التقوى، ولم يستعن إلا بالصالحين، ولم يعد في عهده مجال للشعراء المداحين، فانصرف الشعر إلى أسلوب ينفع الإسلام والمسلمين، ولقد قلده في كل ذلك عماله، فشاع العدل في الأمة، وعم الخير في عصره، وغلب التسامح على تصرفاته.
وكان جريئا في قول الحق، حريصا على مصالح الضعفاء، لا ينفق مال الخلافة في غير موضعه ويرى أن الأكباد الجائعة أولى من كسوة الكعبة.
قيل له يوما وهو في مرض موته: يا أمير المؤمنين، أفغرت أفواه بنيك من هذا المال، وتركتهم فقراء لا شيء لهم. فقال:"أدخلوهم علي، فأدخلوهم وهم بضعة عشر ذكرا ليس فيهم بالغ!! فلما رآهم ذرفت عيناه. ثم قال:"يا بني، والله ما منعكتم حقا هو لكم. ولم أكن بالذي آخذ أموال الناس، فأدفعها إليكم. وإنما أنتم أحد رجلين: إما صالح والله