وفسر بعضهم الكفر بترك الحج، وعبر عنه بالكفر تأكيدًا لوجوبه وتغليظًا على تاركه، والمعنى حينئذٍ: ومن لم يحج مع استطاعته .. فإن الله غني عن حجه، وحج العالمين كلِّهم. قال الضحاك: لما نزلت آية الحج جمع رسول الله - صلى الله عليه وسلم - أهل الأديان الستة: المسلمين والنصارى، واليهود، والصابئين، والمجوس، والمشركين، فخطبهم، وقال:"إن الله تعالى كتب عليكم الحج فحجوا، فآمن به المسلمون، وكفرت به الملل الخمس، وقالوا: لا نؤمن به، ولا نصلي إليه، ولا نحجه، فأنزل الله تعالى قوله: {وَمَنْ كَفَرَ فَإِنَّ اللَّهَ غَنِيٌّ عَنِ الْعَالَمِينَ} ؛ أي: ومن ترك اعتقاد وجوب الحج .. فإن الله غني عنه."
فقد روي أنه - صلى الله عليه وسلم - قال:"من مات ولم يحج .. فليمت إن شاء يهوديًّا أو نصرانيًّا".
وروي عن عليٍّ كرم الله وجهه أنَّ النبي - صلى الله عليه وسلم - قال في خطبة له:"أيها الناس، إن الله فرض الحج على من استطاع إليه سبيلًا، ومن لم يفعل .. فليمت على أي حال شاء يهوديًّا أو نصرانيًّا أو مجوسيًّا".
وأثر عن عمر - - رضي الله عنه - أنه قال: لقد هممت أن أبعث رجالًا إلى هذه الأمصار، فلينظروا كل من كان له جدة - سعةٌ - ولم يحج فيضربوا عليهم الجزية ما هم بمسلمين ما هم بمسلمين. ولهذه الأدلة قال كثير من الفقهاء: إن الحج واجب على الفور، وقال آخرون: إنه واجب على التراخي. وهذه الجملة تأكيد لما سبق من الوجوب، فإنه بدأ الآية بأن قال: {وَلِلَّهِ عَلَى النَّاسِ} . فأفاد أنَّ ذلك ما كان لجر نفع، ولا لدفع ضر، بل كان لعزة الإلهية ولكبرياء الربوبية. وختمها بهذه الجملة المؤكدة لذلك لبيان أنَّ فاعل ذلك مستأهل للنعمة برضا الله عنه، وأن تاركه يسخط عليه سخطًا عظيمًا.