عند دار عبد الرحمن ذرة فكتب لهم أبو عبيدة كتاب الصلح والأمان ولم يسم فيه اسمه ولا أثبت شهودًا وذلك لأنه لم يكن أمير المؤمنين، فلما كتب لهم الكتاب تسلموه منه وقالوا له: قم معنا إلى البلد. فقام أبو عبيدة وركب معه أبو هريرة ومعاذ بن جبل ونعيم بن عمرو و .... وجملتهم خمسة وثلاثون صحابيًا من أعيان الصحابة - رضي الله عنهم -، وخمسة وستون من أخلاط الناس فلما ركبوا وتقدموا نحو الباب قال أبو عبيدة: أريد منكم رهائن حتى ندخل معكم فأتوه برهائن، وقيل إن أبا عبيدة رأى في منامه أن رسول الله - صلى الله عليه وسلم - يقول له: تفتح المدينة إن شاء الله تعالى في هذه الليلة، فقلت: يا رسول الله أراك على عجل قال:"لأحضر جنازة أبي بكر الصديق". فاستيقظت من المنام.

قال الواقدي: وقد بلغني أن أبا عبيدة لما دخل دمشق بأصحابه سارت القسس والرهبان بين يديه على مسرح الشعر وقد رفعوا الإنجيل والمباخر بالند والعود، ودخل أبو عبيدة من باب الجابية ولم يعلم خالد بن الوليد بذلك لأنه شد عليهم بالقتال. وكان هناك قسيس من قسس الروم اسمه يونس بن مرقص وكانت داره ملاصقة للسور مما يلي باب شرقي الذي عنده خالد وكان عنده ملاحم دانيال - عليه السلام - وكان فيها: إن الله تعالى يفتح البلاد على يد الصحابة ويعلو دينهم على كل دين، فلما كانت تلك الليلة نقب يونس من داره وحفر موضعًا وخرج على حين غفلة من أهله وأولاده وقصد خالدًا وحدثه أنه خرج من داره وحفر موضعًا والآن أريد أمانًا لي ولأهلي ولأولادي! فأخذ خالد عهده على ذلك وأنفذ معه مائة رجل من المسلمين أكثرهم من حمير، وقال لهم: إذا وصلتم المدينة فارفعوا أصواتكم بأجمعكم واقصدوا الباب واكسروا الأقفال وأزيلوا السلاسل حتى ندخل إن شاء الله تعالى. ففعل القوم ما أمرهم به خالد - رضي الله عنه - وساروا ومضى أمامهم يونس بن مرقص حتى دخل بهم من حيث خرج. فلما حطوا في داره تدرعوا واحترسوا ثم خرجوا وقصدوا الباب وأعلنوا بالتكبير. فلما سمع المشركون التكبير ذهلوا وعلموا أن أصحاب رسول الله - صلى الله عليه وسلم - حطوا معهم في المدينة، وأن أصحاب رسول الله - صلى الله عليه وسلم - قصدوا الباب وكسروا الأقفال وقطعوا السلاسل، ودخل خالد بن الوليد ومن معه من المسلمين ووضعوا السيف في الروم وهم مختلفون بين يديه إلى أن وصل إلى كنيسة مريم وخالد بن الوليد يأسر ويقتل.

قال الواقدي: والتقى الجمعان عند الكنيسة جيش خالد وجيش أبي عبيدة وأصحابه سائرون والرهبان سائرون بين أيديهم وما أحد من أصحاب أبي عبيدة جرد سيفه، فلما نظر خالد إليهم ورأى أن لا أحد منهم جرد سيفه بهت وجعل ينظر إليهم متعجبًا. فنظر إليه أبو عبيدة