ضم أبو عبيد في هذا الكتاب ما كتبه أسلافه في غريب الحديث من مؤلفات حققها تحقيقًا علميًّا دقيقًا ضابطًا لألفاظها ومفسرًا لمعانيها، ومرتبًا بدقة لمسانيده: مسانيد الصحابة وفي مقدمتهم الخلفاء الراشدون ثم بعض أمهات المؤمنين وغيرُهن، ثم مسانيد التابعين وغيرهم. وعُني بتأليفه أزمنة طوالًا يعاود النظر فيه، حتى أصبح كما يقول الخطابي إمامًا لأهل الحديث به يتذاكرون وإليه يتحاكمون. وظل طوال أربعين عامًا يراجع فيه وينقح، ما وسعه التنقيح والمراجعة، وبحق لقب في عصره سابقَ معاصريه في علوم القرآن وإمامَهم في علوم الحديث واللغة والفقه. وقد ذكرت الكتب الكثيرة التي ترجمت له عشراتِ العلماء الذين أخذ عنهم من مثل: أبي عبيدة، والأصمعي وأبي زيد، والكسائي، والشافعي، وغيرهم من لغويي الأمة وفقهائها العظام. وفي كتابه: غريب الحديث يقول اللغوي الكبير ابن درستويه: جاء أبو عبيد فجمع عامة ما في كتب غريب الحديث التي سبقته وفسرها وذكر أسانيدها، وصنف كتابه المسند على حدته وأحاديث كل رجل من الصحابة والتابعين على حدته وأجاد تصنيفه، ورغَّب فيه أهل الحديث والفقه واللغة، لاجتماع ما يحتاجون إليه فيه. ويقول أبو سليمان حَمْد بن محمد بن إبراهيم الخطابي المتوفى سنة 388 للهجرة في كتاب غريب الحديث لأبي عبيد: كان أول من سبق إلى إتقان هذا التصنيف ودل مَنْ بعده عليه أبو عبيد القاسم بن سلام فإنه قد وعى تصنيف عامة ما يحتاج إلى تفسير من مشاهير كتب غريب الحديث، فصار كتابه إمامًا لأهل الحديث به يتذاكرون، وإليه يتحاكمون. ويتكاثر التأليف في غريب الحديث منذ أواخر القرن الثاني للهجرة. ويذكر الأستاذان طاهر الزاوي ومحمود الطناحي في مقدمة تحقيقهما لكتاب النهاية في غريب الحديث والأثر لابن الأثير المتوفى سنة 606 للهجرة خمسة وأربعين كتابًا في غريب الحديث ألفت حتى عصره، ومنها كتاب لابن قتيبة المتوفى سنة 276للهجرة، وكتاب الدلائل لقاسم بن