وكانت رحلة الحافظ أبي القاسم مع العلم وطلبه قد بدأت منذ طفولته، حيث تلقن القرآن الكريم (18) ، وأحضر مجالس السماع، واستجاز له أهله كبار العلماء إبان طفولته، ثم أخذ هو يسمع بنفسه. والظاهر أنه كان يتشوق إلى الرحلة إلى البلدان الأخرى ولاسيما بغداد، لكن أهله كما يبدو لم يمكنوه من ذلك في أول الأمر، فلما بلغ الحادية والعشرين من عمره سمحت له أمه بالسفر إلى بغداد، لكنها اشترطت عليه ألا يرحل إلى مشرق العالم الإسلامي (19) . ولم يكن الحافظ ابنًا عاقًا يخالف إرادة أمه لاسيما أن آداب طلب العلم تقتضي استئذان الأبوين في الرحلة (20) ، ووجوب طاعتهما وبرهما وترك الرحلة مع كراهتهما ذلك وسخطهما (21) .
وكان الحافظ -رحمه الله- في أشد الشوق إلى الرحلة إلى بغداد فقد حكى زين الأمناء ابن عساكر لعمر بن الحاجب أن أبا القاسم لما عزم على الرحلة اشترى جملًا وتركه بالخان فلما رحل القفل تجهز وخرج فوجد الجَمّال قد مات، فقال له الجماعة الذين خرجوا لوداعه: ارجع فما هذا فأل مبارك، وفندوا عزمه، فذكر لهم أن مثل هذا لا يثني عزمه، وأنه لابد من الرحلة حتى مشيًا على قدميه، ثم حمل خرجه واكترى من الركب بعيرًا (22) .
ومما لاشك فيه أنه وصل بغداد قبل شهر رجب من سنة 520هـ، وهو الشهر الذي توفيت فيه شيخته البغدادية فاطمة بنت عبد القادر بن السماك، وقد ذكر الذهبي أنها أقدم شيوخه ببغداد وفاة (23) . وإذا استثنينا ذهابه إلى الحج سنة 521هـ وسماعه هناك (24) ورجوعه إلى دمشق لفترة (25) فإنه بقي ببغداد حتى سنة 525هـ. ونحن نعلم أيضًا أنه كان بدمشق في شوال سنة 525هـ وهو الشهر الذي توفي فيه شيخه أبو علي الحسن بن سلمان (26) النهرواني مدرس النظامية (27) فقال في كتاب تبيين كذب المفتري: فورد عليّ بعد عودتي من بغداد كتاب الشريف أبي المعمر المبارك بن أحمد بن عبد العزيز الأنصاري فذكر أنه توفي في يوم الاثنين الخامس من شوال سنة خمس وعشرين وخمسمئة (28) .