ويبدو أنه بقي حصنًا أيام البيزنطيين وفي العهود الصليبية والأيوبية والمماليك، ويدل على ذلك بقايا أبنية وآثار منشآت ومرافق مختلفة ظهرت في فنائه، وعلى طبقات مدرجه، أثناء الحفر الذي قامت به المديرية العامة للآثار والمتاحف للكشف عنه، يرجح أنها تعود إلى تلك العصور (9) . كما أن المؤرخين والرحالة العرب الذين أرخوا لتلك العصور كالعماد الأصفهاني (10) ، وابن الأثير (11) ، وابن شداد (12) ، وغيرهم قد اعتبروه قلعة حربية. وشذ عنهم شيخ الربوة الدمشقي إذ قال عنه، أثناء حديثه عن مدينة جبلة:" وفيها مقر الملك الذين كانوا اصطلحوا عليه في زمن نوح عليه السلام، وإبراهيم وإلى زمن موسى عليه السلام، وقد تقدم ذكر مثله في مدينتي عمان وجرش وبعلبك؛ وكان له سرب يركب الراكب فيه تحت الأرض إلى ظهر السفينة بالبحر، ويركب في السفينة إلى وسطه تحت الأرض محجوبًا". (13) ، ولابد من الإشارة إلى أن أهل جبلة يروي بعضهم عن بعضهم بالتواتر ما رواه شيخ الربوة عن هذا السرب ويعتقدون بوجوده، وأنه كان ينتهي إلى برج كان يقوم فوق العدوة الشمالية من الميناء ثم بالبحر مباشرة، وأن المغارة القديمة والمسماة (بمغارة البابين) ، والمنقورة في السفح الغربي من قاعدة هذه العدوة و المؤدية إلى البحر مباشرة، إنما هي نهاية هذا السرب، ومنفذه إلى البحر. وقد زرت هذا المنفذ فوجدته يمتد نحو الشرق، تحت الأرض، وباتجاه المدينة والأرجح أنه كان ينتهي إلى الباب الغربي القريب من الميناء، للسور الذي كان يحيط بالمدينة آنذاك، والذي كان له أربعة أبواب حسب ما بقي من معالمه ووفقًا لتقدير العلماء الأثريين، غير هذا الباب السري.
*أوضاعه حتى أواخر القرن التاسع عشر: