لم تستمر سلطة اليهود السياسية في اليمن لمدة طويلة، إذ أخذت دولتهم إن جاز لنا القول في الاضمحلال بصورة متسارعة تحت وطأة الاحتلال المسيحي بقيادة مملكة الأحباش في أواخر القرن السادس الميلادي، الذي بدوره لم يستمر طويلا حيث تمكن سيف بن ذي يزن الحميري من تحرير اليمن بمساعدة الفرس الوثنيين من ربقة ذلك الاحتلال، فعاشت اليمن في فراغ ديني بعدها حتى كان دخولها في الدين الإسلامي في أوائل القرن السابع الميلادي السنة التاسعة للهجرة، ليتربع الإسلام في أفئدة ذلك الشعب تلبية لدعوة النبي صلى الله عليه وآله وسلم كما جاء في الأثر، ومن حينه انضوت اليمن أرضا وشعبا تحت لواء الدولة الإسلامية خلال مختلف الحقب التاريخية، وعاش اليهود فيها أقلية دينية لها حقوقها، وعليها واجباتها تجاه الدولة، بحسب ما تقرره التعاليم الدينية تجاه ما تعارف عليه المسلمون بأهل الذمة.
وقد اختلفت المصادر في عدد اليهود اليمنيين بصورة عامة، غير أن المرجح أن عددهم وصل مع مطلع القرن العشرين ما بين 75 و 100 ألف نسمة موزعين على ألف مركز داخل أرجاء اليمن، متمتعين في معظم الفترات التاريخية بالأمن والسلام إلا من بعض الفترات التي تعرضوا فيها لبعض أنواع العقاب الناتج عن ممارستهم لأمور تُعد من قبيل العصيان على الدولة والمجتمع، كالتمرد أو الخروج على التقاليد اليمنية العامة المرعية من قبل الطائفة اليهودية، أو محاولة التملص من دفع الجزية، أو التلاعب في النقد المدفوع، أو بيعهم الخمور وتعاطيهم لها علنا، أو اللجوء إلى أساليب الغش في البيع، وغير ذلك مما يعرضهم لعقاب الدولة الإسلامية في اليمن.
ولقد شغلت فكرة ظهور المسيح المخلص أذهان الكثير من أبناء الطائفة اليهودية في العديد من الفترات التاريخية، ومن ذلك ما حدث في أواخر القرن السادس الهجري حين أعلن الحبر يعقوب بن ناثانئيل أنه المسيح المخلص، داعيا إلى أنه مكلف بالعمل على دمج الديانة اليهودية بالإسلام، لكن دعوته هذه لم تلق قبولا وتأيدا واسعا بين صفوف الطائفة اليهودية آنذاك.
وفي القرن الحادي عشر الهجري انتشرت بين فئات الطائفة اليهودية في اليمن دعوة سبتاي زيفي الذي ظهر في مدينة أزمير مدعيا بأنه المسيح المخلص، وتجول داعيا لنفسه بين سالونيك والقاهرة والقدس دون أن تلقى دعوته أي قبول واسع، لكنها ولتعلق أبناء الطائفة اليهودية في اليمن بفكرة المسيح المخلص قد لاقت قبولا رائجا جعلت الكثير منهم يعمل على العودة إلى فلسطين، فأخذوا في بيع ممتلكاتهم دون إذن من الإمام المتوكل على الله إسماعيل (1054-1087هـ/1644 - 1676م) حاكم اليمن آنذاك، وأخذ بعضهم في التلاسن مع المسلمين بسوء، فكان أن حرر أحد القضاة ويدعى شهاب الدين أحمد بن سعد الدين سؤالا إلى الإمام يستفسر فيه عن موقف المسلمين من ممارسة اليهود لأعمال البيع والهجرة الجماعية دون إذن مسبق من الإمام، وكذلك عن الموقف من سلوكيات بعضهم الفاسدة تجاه المسلمين، فكان جواب الإمام يقضي بأن عدم وقوف اليهود على رسم الذمة مدعاة إلى نقض التزامات العهد تجاههم، ففهم الناس من جوابه أنه يهدر أموالهم، وانتشر ذلك في أفاق اليمن، فانتُهب اليهود في عدد من المناطق، حتى كان وقف ذلك بأمر من الإمام الذي قام بتأديب المنتهبين، وفي تلك الأثناء قام بعض يهود صنعاء بتتويج أحد رؤسائهم، وعملوا على تنصيبه وإعلاء كلمته، فما كان من الإمام إلا أن أمر بالقبض عليه وقطع عنقه، وتعزير من ساعده من اليهود بإسقاط العمائم من على رؤوسهم، وسجن بعضهم، ولم ينته الأمر عند ذلك، بل قام بعض يهود صنعاء بالتطاول على النبي محمد عليه الصلاة والسلام، وعلى المسلمين، وإعمال الغش التجاري معهم، الأمر الذي أجبر الإمام المتوكل إسماعيل على القيام بإجلاء يهود صنعاء وتخريب كنائسهم، وتم تنفيذ ذلك في عهد خليفته الإمام المهدي أحمد بن الحسن الذي قام بتهجير يهود صنعاء إلى مدينة موزع على ساحل البحر الأحمر لمدة يسيرة، ثم سمح لهم بالرجوع ليس إلى مواقعهم القديمة في صنعاء وإنما إلى حي جديد خاص بهم، عرف باسم قاع اليهود وذلك بعد سكينتهم، وشفاعة أحد كبار الأحبار اليهود في اليمن المقيم في تعز لهم ويدعى (الشبزي) .
وبحكم سيطرت فكرة إمكانية ظهور المسيح المخلص الذي به ومن خلاله ستعود الدولة اليهودية في فلسطين على أذهان أفراد المجتمع اليهودي اليمني قاطبة، فقد عرف أبناء الطائفة خلال مختلف المراحل التاريخية ظهور المدعين بمسيحيتهم (الكاذبة) ، والتي لاقت إقبالا في بعض الفترات من قبل علماء وأفراد الطائفة اليهودية، نتيجة لتعلقهم الكبير بمختلف مظاهر الحياة الدينية، التي كانت تميز المجتمع اليهودي في اليمن، أسوة بفئات المجتمع اليمني المسلم، ولذلك فلم تواجه المنظمة الصهيونية الكثير من الصعوبات في إقناع أبناء الطائفة اليهودية بالهجرة إلى الأرض الموعودة (فلسطين المحتلة) وذلك مع بدايات القرن العشرين الميلادي.
لقد تمكنت المنظمة الصهيونية بواسطة العديد من أفرادها الذين زاروا اليمن متخفين بلباس يهودها المسموح تنقلهم بحسب ما تقتضيه الأعراف اليمنية دون قيد أو شرط، ودون خوف أو رهبة لحصانتهم الاجتماعية وفقا لما تقرره الأعراف والعادات والتقاليد القبلية اليمنية، تمكنت، من تعزيز روح الهجرة إلى فلسطين بين أوساط المجتمع اليهودي في اليمن، وبذلت من أجل ذلك كل السبل الممكنة، ونجحت جهودهم في ذلك، لاسيما وأن يهود اليمن كانوا على معرفة بالقدس، وعلى اعتقاد كبير بأن ساعة الفرج لهم قد قربت، وهو ما يؤكده إريك ماكرو الذي زار اليمن عام 1882م بقوله:"إن اليهود القاطنين بقرية قرب صنعاء أظهروا معرفتهم بالقدس وبروتشايلد العظيم الذي كانوا يعتقدون أنه حاخام عظيم لليهود، وكانوا يتوهمون أنه يسكن القدس، وأنه اشترى أرضا لهم ليمنحهم إياها، وعلى هذه الشائعة هاجرت أكثر من مائة أسرة يهودية من صنعاء إلى القدس لتنفيذ ذلك".
وقد توالت هجرات اليهود اليمنيين إلى فلسطين بعد ذلك بصورة كبيرة، حيث هاجر خلال عامي 1911م و 1912م حوالي خمسة عشر ألف يهودي، واستمرت الهجرات في الأعوام اللاحقة حتى كانت سنة 1948 - 1949م التي هاجر فيهما غالبية أبناء الطائفة اليهودية بعد إعلان قيام دولة إسرائيل فيما عرف بعملية"بساط الريح أو بساط سليمان"، ولم يبق في اليمن منهم سوى ما يقرب من 300 فرد آثروا البقاء داخل أرجاء اليمن.
وعليه فيتضح مما سبق أن الطائفة اليهودية اليمنية التي ينتمي غالبيتها للأرومة العربية الجنوبية قد عاشت طوال أربعة عشر قرنا من حكم المسلمين في أجواء من التسامح الديني والحياتي الذي أمكنهم من خلاله المحافظة على هويتهم الدينية، وطقوسهم الشعائرية، ومختلف عاداتهم وتقاليدهم الاجتماعية، في ظل منطقة عرفت بتقلباتها السياسية، ومتغيراتها الاقتصادية، وتنوعها الفكري، وتباينها الاجتماعي الذي وإن كان للوهلة الأولى ميزة إيجابية لهم، لكنه وبقليل من التدبر يعتبر خاصية سلبية يمكن معها استحواذ فكرة اتحاد الأغلبية على الأقلية، والعمل على نفيه بمختلف السبل المشروعة وغير المشروعة.