وبعد استقالة الحكومة سنة 1969م، رفض العودةَ للعمل في السلك السياسي، وبدأ بتأسيس مؤسسة تهتمُّ بالحفاظ على المخطوطات والكتب والآثار، والتي سميت فيما بعد (الهيئة العامة للآثار ودور الكتب) ، وبقي في رئاستها 21 سنة، إلى أواخر سنة 1990م. وفي خلال هذا العمل تفرَّغ صاحب الترجمة للقراءة والكتابة، والاطلاع على المخطوطات المتعلقة بما قام بتأليفه. وحضر مؤتمرات الآثار التي عُقدت في بعض الدول العربية.
أما أبرز الأعمال التي قامت بها دار الكتب أثناء رئاسته، فهي إنشاء متحف للآثار اليمانية، وعمل مسح أثري لكثير من مناطق اليمن بمساعدة بعثات دولية متخصِّصة. وكان النصيب الأوفر من اهتمام الدار منصبًّا نحو اقتناء المخطوطات الإسلامية النادرة، والتي جمعت منها نحو ثلاثة آلاف من رسائل وكتب.
رحلاته:
عُرف عن الشيخ حبُّه للأسفار منذ صغره، وكان يعد السفر أفضلَ هواياته ويجد فيه متعة وفائدة كبيرين. فقد تجول داخل اليمن؛ فلم يدع مدينة ولا هجرة في اليمن إلا زارها، واطلع على معالمها، وتعرف أهلها وعلماءها. وخارج اليمن؛ زار بلدان العالم العربي جميعها وبعضًا من بلدان العالم الأخرى، ومن تلك الزيارات ما كانت رسمية بحكم عمله في السلك السياسي، ومنها ما كانت خاصة للبحث والاستزادة من المعرفة.
وكانت له رحلتان طويلتان: إحداهما من الإسكندرية إلى إيطاليا مرورًا بأثينة وبلغراد وزغرب وتريستة ثم إلى برينديزي على شاطئ الأدرياتيك ثم العودة إلى الإسكندرية.
والأخرى من موسكو إلى ألمانية ومنها إلى فرنسة ثم إسبانية فالمغرب فالجزائر فتونس فرومة، انتهاءً بالقاهرة.
وقد زار الولايات المتحدة سنة 1979م بدعوة رسمية، وبقي فيها شهرًا، تجوَّل خلاله في عدد من ولاياتها.
وفي آسية، زار الصين وأندونيسية وماليزية وبروناي وسنغافورة بالإضافة إلى الدول العربية فيها.
وزار المملكة العربية السعودية حاجًا وزائرًا سنة 1378هـ.