ولم يكن (غمدان) مجرد قصر ملكي، بل كان رمزًا من رموز السيادة واكتمال السلطان، فالملك الذي يتمكن من التربع على العرش في سدة (سلحين) و (غمدان) و (ريدان) يكون قد بلغ قمة السيادة، وشملت سلطته جميع ربوع اليمن القديم. وظل عدد من الملوك ذوي المكانة الرفيعة، يضيفون إلى غمدان عملًا من الأعمال البنائية والتزيينية ليعد ذلك من مفاخرهم، حتى بلغ منتهى العظمة والفخامة في أوائل القرن السادس الميلادي حين وقعت اليمن في قبضة الأحباش، ومن هنا أخذ الخراب يحل بقصر غمدان حتى لم يبق منه في القرن الرابع الهجري، أي في عصر الهمداني، إلا بضعة مداميك ذات أحجار ضخمة مهندمة ومتلاحكة -متداخلة- تلاحكًا عجيبًا حسب تعبيره.
وأول انتقاص لقصر غمدان كان على يد الأحباش في عهدي أرياط وأبرهة لما ألحقاه به، ولما انتزعه أبرهة من زينته ليزين بها قليسه -كنيسته-.
وبعد جلاء الأحباش أعيد للقصر اعتباره فتربع الملك سيف بن ذي يزن على سدة العرش فيه، وكان ممن زاره وهنأه على تسنم عرش اليمن عبد المطلب بن هاشم جد الرسول (?) ، وأمية بن أبي الصلت الذي مدحه بقصيدة مطلعها:
لا يطيب الثأر إلاّ كابن ذي يزن
وفيها يقول: ... في قصر (غمدان) دارًا منك محلالا
فاشرب هنيئًا عليك التاج مرتفقا
ويبدو أن هذه المكانة المستعادة لقصر غمدان استمرت في فترة الحكم الفارسي لليمن، ونزله الولاة من الفرس عندما حل الإسلام، وحينما ثار عليهم عبهلة بن كعب العنسي، احتل غمدان وفيه قتل.