وتحت الصخرة المقدسة مغارة يوصل إليها سلم ضيق عدد درجاته 11 درجة.. وهي مربعة طول ضلعها حوالي أربعة ونصف متر، وهذه الصخرة زارها الخليفة عمر بن الخطاب (رضي الله عنه) عندما فتح أبو عبيدة الجراح فلسطين، وقد كانت مغطاة بالقاذورات فأمر الخليفة واحدًا من أهل المدينة بأن ينظفها وكان من الأنباط العرب وقد نظفها، واتفق أن هطلت الأمطار بعد ذلك وقد أذن عمر بعد ذلك للصلاة فوقها (7) وقد أقام عمر مصلى من الخشب بعد ذلك قبل أن يقيم عبد الملك بن مروان على أنقاض البناء الحالي وهو مسجد قبة الصخرة.
يشاهد الناظر للقبة من الداخل أن الأقواس الداخلية نصف دائرية، وكذلك أقواس النوافذ، أما الأعمدة فهي من مباني قديمة دمرتها جيوش كسرى عام 614م ومعظمها من الكنائس وعددها داخل المسجد حوالي 12 عمودًا، وهي تختلف من حيث طرزها المعمارية وقد استخدمت روابط خشبية لربط التيجان.
تعتبر قبة الصخرة من أبدع العمائر الإسلامية وأقدمها، كذلك من أقدم نماذج القباب الإسلامية. وقد بني مسجد قبة الصخرة في وسط قطعة من أرض القدس منبسطة ومرتفعة نوعًا عما حولها، وتبلغ مساحة الأرض المقدسة التي تضم قبة الصخرة والمنطقة المحيطة بها، والتي تعرف بفناء الصخرة وكذلك المسجد الأقصى حوالي 260.000متر مربع. ويوجد في فناء الصخرة ثمانية قناطر تكلل الأدراج أو المراقي التي يصعد عليها المرء إذا ما أراد الانتقال من أرض الحرم الشريف إلى فناء الصخرة.
وقد انتقل تأثير قبة الصخرة إلى الطرز المعمارية الإسلامية ففي العصر العباسي اتبع الأسلوب المثمن المتبع في تخطيط مبنى قبة الصخرة وخاصة في بناء الأضرحة.