أما العيب الأساسي في الأسئلة المفتوحة بالمقارنة بالأسئلة المغلقة فهو أن التحليل المنهجي لعدد كبير من الأسئلة أو لعينة كبيرة من المستجيبين أمر صعب للغاية. فكيف تقارن إجابات الأشخاص المختلفين على السؤال المفتوح؟ في دراسة ميتسكاس وهوروويتز وسيلفان (2006) استخدمت نتائج التحليل المغلق لإنشاء عينة فرعية من الاستطلاعات فحص الباحثون من أجلها الإجابات المفتوحة. فاختاروا أشخاص كانت إجاباتهم طبق الأصل من الاتجاه الذي تم تحديده في التحليل المغلق ثم نظروا إلى إجاباتهم المفتوحة للتعرف على المنطق الذي طرحوه لإجاباتهم. فمثلا يبين التوجه العام أن المستجيبين الذين يستمعون أكثر للموسيقى المزراحية كانوا أكثر ميلا إلى اختيار الإجابة التي تقول إن الفلسطينيين أعداء إسرائيل. وإذا نظرنا بطريقة منهجية إلى الإجابات المفتوحة للأشخاص الموجودين في هذه المجموعة استطعنا أن نحدد المنطق الذي يقف وراء اختياراتهم؛ لأنهم هنا مضطرون إلى التوضيح على العكس من نوعية أسئلة الاختيار من إجابات متعددة. أي أن الإجابات المفتوحة أعطت أسباب مختلفة تفسر رؤية المستجيبين. ونظرا إلى أن المستجيبين الذين قيمناهم كانت إجاباتهم المغلقة تتسق مع التناسب الذي ظهر لنا، فقد تمكنا من بحث الأسباب التي أعطاها المستجيبون الذين توضح آراؤهم التوجه العام الذي تبينه النتائج.

وعلى غرار ميتسکاس و هوروويتز وسيلفان (2006) اعتمد تشارليك بيلي وسيلفان