لم يكن عدل وورع وحكمة الحاكم العادل عمر بن عبدالعزيز مرتبطة بتوليه الخلافة، وإنما كان عدله وورعه وحكمته سماتٍ أساسية فى شخصيته من قبل ذلك، ولذلك كان يحتل مكانة متميزة فى البيت الأموى، فقد كان عمه عبدالملك يجله ومعجبا بنباهته، مما جعله يقدمه على كثير من أبنائه ويزوجه من ابنته.. وقد ولّاه الخليفة الوليد بن عبدالملك إمارة المدينة المنورة، ثم ضم إليه بعد ذلك بفترة ولاية الطائف، وبذلك صار والياً على الحجاز كلها، واشترط عمر لتوليه الإمارة ثلاثة شروط:
أولها أن يعمل للناس بالحق والعدل، ولا يظلم أحداً، ولا يجور على أحد فى أخذ ما على الناس من حقوق لبيت المال، وترتب على ذلك أن يقل ما يرفع للخليفة من الأموال من المدينة. والشرط الثانى أن يسمح له بالحج فى أول سنة، لأنه كان فى ذلك الوقت لم يحج. وكان شرطه الثالث أن يسمح له بأن يُخرج العطاء للناس فى المدينة.
فوافق الوليد بن عبدالملك على شروط عمر بن عبدالعزيز، وباشر عمله بالمدينة، وكانت محبة الناس له عظيمة من عدله وحبه للخير.. ومن أهم الخطوات التى اتخذها أثناء توليه الإمارة تكوين مجلس للشورى بالمدينة سمى بـ«مجلس فقهاء المدينة العشرة»، وكان يضم عروة بن الزبير، وعبيد الله بن عبدالله بن عتبة، وأبوبكر بن عبدالرحمن بن الحارث بن هشام، وأبوبكر بن سليمان بن أبى خيثمة، وسليمان بن يسار، والقاسم بن محمد، وسالم بن عبدالله بن عمر، وأخوه عبدالله بن عبدالله بن عمر، وعبدالله بن عامر بن ربيعة، وخارجة بن زيد بن ثابت.
وعندما دعاهم قال إنى دعوتكم لأمر تُؤجَرون عليه، وتكونون فيه أعوانًا على الحق، إنى لا أريد أن أقطع أمرًا إلا برأيكم، أو برأى من حضر منكم، فإن رأيتم أحدًا يتعدَّى أو بلغكم عن عامل لى ظلامة، فأحرِّج اللهَ على من بلغه ذلك إلا أبلغنى.. أى أنه حدد صلاحية هذا المجلس بالتشاور معهم وعدم اتخاذ قرار إلا بموافقتهم أو بموافقة من كان حاضرا منهم. والأمر الثانى الذى كانوا منوطين به هو مراقبتهم العمال وإبلاغه إذا قام أحدهم بظلامة، وإلاَّ فقد استعدى الله على كاتم الحق.