الحمد لله والصلاة والسلام على رسول الله وعلى آله وصحبه أما بعد:

فنسأل الله أن يصلح أحوال المسلمين، وأن يمكِّن لدينه وعباده الصالحين.
واعلم -أخي- أنه لا يجوز لك التخلف عن الجمعة ولو كان الحال كما ذكرت.
قال شيخ الإسلام ابن تيمية رحمه الله في مجموع الفتاوى 23/342: (فإذا لم يمكن منع المظهر للبدعة والفجور إلا بضرر زائد على ضرر إمامته لم يجز ذلك، بل يصلي خلفه ما لا يمكنه فعلها إلا خلفه كالجمع والأعياد والجماعة، إذا لم يكن هناك إمام غيره، ولهذا كان الصحابة يصلون خلف الحجاج والمختار بن أبي عبيد الثقفي وغيرهما الجمعة والجماعة، فإن تفويت الجمعة والجماعة أعظم فسادًا من الاقتداء فيهما بإمام فاجر، لا سيما إذا كان التخلف عنهما لا يدفع فجوره، فيبقى ترك المصلحة الشرعية بدون دفع تلك المفسدة، ولهذا كان التاركون للجمعة والجماعات خلف أئمة الجور مطلقًا معدودين عند السلف والأئمة من أهل البدع). ا.هـ
والله أعلم.