فقبرناه ليلا في أصل حصن قسطنطينية ثم أمر يزيد بالخيل تقبل عليه وتدبر حتى عمي قبره فأشرف أهل قسطنطينية حين أصبحوا فقالوا: لقد كان لكم الليلة شأن لقد مات فيكم عظيم فقال يزيد: أجيبوهم؟ فقالوا: هذا رجل من أصحاب رسول الله صلى الله عليه وسلم من أقدمهم إسلاما وقد قبرناه حين رأيتم والله لئن مس لا يضرب ناقوس بأرض العرب ما كانت لنا مملكة.
قال مجاهد: فكانوا إذا أقحلوا كشفوا عن قبره فمطروا.
قال: وبنى الروم على قبره بناء وعلقوا عليه أربع قناديل تسرج.
قال أبو القاسم: وقد روى عن أبي أيوب غير واحد من أصحاب رسول الله صلى الله عليه وسلم منهم: المقدام بن معدي كرب وجابر بن سمرة وعبد الله بن يزيد الأنصاري وأبو أمامة الباهلي وغيرهم.