قال القاضي أبو محمد: ومسجد رسول الله صلى الله عليه وسلم، كان في بقعته نخل وقبور مشركين ومربد ليتيمين كانا في حجر أسعد بن زرارة، وبناه رسول الله صلى الله عليه وسلم ثلاث مرات، الأولى بالسميط وهي لبنة أمام لبنة، والثانية بالصعيدة، وهي لبنة ونصف في عرض الحائط، والثالثة بالأنثى والذكر، وهي لبنتان تعرض عليهما لبنتان، وكان في طوله سبعون ذراعاً وكان عمده النخل وكان عريشاً يكف في المطر، وعرض على رسول الله صلى الله عليه وسلم بنيانه ورفعه فقال: لا بل يكون عريشاً كعريش أخي موسى كان إذا قام ضرب رأسه في سقفه.
وكان رسول الله صلى الله عليه وسلم ينقل فيه اللبن على صدره، ويقال إن أول من وضع في أساسه حجراً رسول الله صلى الله عليه وسلم، ثم وضع أبو بكر حجراً، ثم وضع عمر حجراً، ثم وضع عثمان حجراً، ثم رمى الناس بالحجارة فتفاءل بذلك بعض الصحابة في أنها الخلافة فصدق فأله، قوله: {من أول يوم} قيل معناه منذ أول يوم، وقيل معناه من تأسيس أول يوم، وإنما دعا إلى هذا الاختلاف أن من أصول النحويين أن"من"لا تجر بها الأزمان، وإنما تجر الأزمان بمنذ، تقول ما رأيته منذ يومين أو سنة أو يوم، ولا تقول من شهر ولا من سنة ولا من يوم، فإذا وقعت"من"من الكلام وهي تلي زمناً فيقدر مضمر يليق أن تجره"من"كقول الشاعر: [زهير بن أبي سلمى]
لمن الديار كقنة الحجر ... أقوين من حجج ومن دهر