Sposób sformułowania pytań w badaniach sondażowych jest oceniany przede wszystkim pod kątem dostarczania wiarygodnych informacji. Oznacza to, że każdy respondent powinien bez problemu zrozumieć zadawane mu pytanie i być w stanie na nie odpowiedzieć tak, że w sytuacji zadania mu tego samego pytania po raz drugi, udzieliłby na nie takiej samej odpowiedzi. Jest to podstawowa zasada formułowania pytań ankietowych.
Niniejszy artykuł ma na celu przybliżenie znaczenia problemu formułowania pytań w badaniach ilościowych. Jest to niezwykle istotny aspekt metodologiczny z punktu widzenia interpretacji, ponieważ źle sformułowane pytanie, może podważyć wiarygodność danych, a czasem nawet całego badania. Metodologia badań sondażowych zwraca uwagę na kilka kluczowych problemów związanych z formułowaniem pytań ankietowych i jednocześnie wskazuje sposoby radzenia sobie z nimi.
Pytania otwarte, a pytania zamknięte
Różnica między pytaniami otwartymi a zamkniętymi związana jest ze swobodą odpowiedzi. W pytaniach otwartych, respondenta nie ogranicza żaden wybór, natomiast w pytaniach zamkniętych respondent wybiera sobie odpowiedź spośród zaproponowanych wariantów. Jak taka różnica wpływa na wyniki badania? Przykładem mogą być pytania o najważniejsze problemy krajowe. Instytut Gallupa zadaje takie pytanie w formie otwartej i brzmi ono: Jaki jest najistotniejszy problem, z którym mierzy się obecnie kraj? Inne agencje zadają takie pytanie w formie zamkniętej: Który z poniższych problemów jest według ciebie najważniejszy dziś dla kraju? Tak sformułowane pytanie generuje krótszą listę problemów, które zostaną zbadane ze względu na konkretną kafeterię, która ukierunkowuje myślenie respondenta. Dodatkowo sama kolejność kafeterii może mieć wpływ na wyniki badania, dlatego warto sprawdzić czy przy tego typu pytaniach kafeterie były rotowane.
Pytania otwarte są dobre, żeby sprawdzić co tak naprawdę siedzi w głowach ludzi i w sytuacjach, gdy ważne jest by respondent sam wygenerował odpowiedź – wypowiedział się spontanicznie, swoimi własnymi słowami. Pytania otwarte mogą być jednak trudne do przeanalizowania i wyciągnięcia generalnych wniosków oraz prezentacji w zbiorczych zestawieniach statystycznych, ponieważ czasami ciężko jest je zakodować i pogrupować w znaczące kategorie ze względu na dużą różnorodność. Pytania zamknięte z kolei są łatwiejsze w zarządzaniu, analizie i wnioskowaniu, ale mogą czasami sprawiać, że respondent czuje się ograniczony, nie znajdując odpowiadającej mu odpowiedzi w kafeterii.
Wielokrotna negacja i wieloznaczność
Zastosowanie podwójnej negacji lub niekonkretnych stwierdzeń w pytaniach sondażowych może doprowadzić do dezorientacji lub zagubienia się respondenta (oraz badacza). Przykładem podwójnej negacji może być pytanie: „Czy nie jest Pan przeciwny przerywaniu ciąży?”. Jako przykład niekonkretnych stwierdzeń, można podać pytanie „Czy wyraża Pan zainteresowanie polityką?”. Odpowiedź „nie” może wskazywać z jednej strony, że respondent w ogóle nie interesuje się polityką, a z drugiej, że nie okazuje swojego zainteresowania polityką.
Pytania wieloproblemowe
Pytania, które w swojej treści poruszają więcej niż jedną kwestię są problematyczne zarówno dla badacza, jak i respondenta. Przykładem może być pytanie:
Czy głosowałeś/aś w wyborach w 2004 i 2006?
Jak w takim przypadku zinterpretować odpowiedź „tak”? Czy oznacza ona, że respondent głosował o w 2004 i 2006? Czy tylko w 2004, a w 2006 już nie? Albo może nie głosował w 2004, ale głosował w 2006? By pytanie było zadane poprawnie metodologicznie, powinno być rozbite na dwa osobne pytania albo mieć szerszą kafeterię. Innym przykładem może być pytanie: „Czy ze względu na swoje wyznanie jest Pan przeciwny legalizacji eutanazji?”. Część respondentów, którzy są przeciwni legalizacji eutanazji, ale nie ze względów religijnych może mieć problem z odpowiedzią na to pytanie.
Pytania wzmocnione (sugerujące)
W tym przypadku problem polega na tym, że forma pytania może narzucać odpowiedź respondentowi przez wzmocnienie go istotnym akcentem, np. ważnym nazwiskiem, stanowiskiem, urzędem, zadaniem pytania z naciskiem na jeden aspekt etc. Respondentowi może być trudno nie zgodzić się ze stanowiskiem przedstawionym w pytaniu, jeżeli jest ono odpowiednio wzmocnione.Przykład:
„Czy popierasz decyzję prezydenta Busha w sprawie wysłania dodatkowych wojsk do Iraku?”
Lepiej i poprawniej byłoby, gdyby pytanie było zadane tak: „Czy jesteś za czy przeciw wysłaniu dodatkowych wojsk do Iraku?”
Można odnieść wrażenie, że pytania wzmocnione kładą większy nacisk na jedną stronę problemu, przez co mogą sugerować respondentowi odpowiedź, w wyniku czego wynik badania może być zaburzony.
Efekt kontekstu
Kolejność zadania pytań jest również kluczowa dla wyników sondażu, ponieważ każde pytanie ma wpływ na następne (efekt kontekstu). Dla przykładu – jeżeli zapytamy o konkretną kwestię, np. o politykę prorodzinną, przed pytaniem o najbardziej istotny problem przed jakim obecnie stoi Polska to w tym pytaniu respondenci pod wpływem efektu kontekstu, częściej będą twierdzić, że jest to właśnie polityka prorodzinna (w porównaniu do sytuacji, gdyby tego kontekstu nie było).
Siłę efektu kontekstu bardzo dobrze było widać wynikach sondażu przeprowadzonego dla przemysłu tytoniowego, dotyczącego reelekcji prokuratora Moralesa w Teksasie (postawa Moralesa była w opozycji do strategii koncertu tytoniowego, stąd koncernowi zależało na tym, żeby wyniki poparcia dla Moralesa były jak najniższe).
Najpierw zadano ogólne pytanie o reelekcję Moralesa. Następnie podano kilka stwierdzeń, które podkreślały (czasem nawet zniekształcały) zdanie Moralesa w różnych kontrowersyjnych kwestiach. A następnie ponownie zadano pytanie o reelekcję. Efekt oczywisty – poparcie dla Moralesa w drugim pytaniu o reelekcję spadło. Dla lepszego zobrazowania przykładu, poniżej zostały przytoczone pytania wykorzystane w tym sondażu.
- Czy uważasz, że Morales wykonywał swoją pracę prokuratora generalnego na tyle dobrze by zasłużyć na reelekcję, czy jednak uważasz, że nadszedł czas, aby dać szansę nowej osobie na sprawowanie taj funkcji?
Udzielone odpowiedzi: reeelekcja –42%, nowa osoba – 27%, nie wiem – 31%
- Seria stwierdzeń dotyczących Moralesa: Czy wiesz, że:
- Morales wspiera akcje afirmatywne (wspierające grupy dyskryminowane)?
- Morales popiera wprowadzenie większej kontroli przy wydawaniu pozwoleń na broń?
- Jako prokurator generalny, Morales uznał, że kwestie konsumenckie są ważniejsze niż zwalczanie przestępczości?
- Morales powiedział, że młodzi członkowie gangów nie powinni być brutalnie traktowani i wsadzani do więzienia – oni potrzebują obiektów rekreacyjnych, wsparcia w kwestii uzależnienia od narkotyków oraz pracy na wakacje?
- Teraz, gdy już miałeś/aś okazję dowiedzieć się więcej o Moralesie, powiedz, czy teraz uważasz, że Morales wykonywał swoją pracę prokuratora generalnego na tyle dobrze by zasłużyć na reelekcję, czy jednak uważasz, że nadszedł czas, aby dać szansę nowej osobie na sprawowanie taj funkcji?
Udzielone odpowiedzi: reeelekcja – 21% (42%), nowa osoba – 58%(27%), nie wiem – 21%(31%).
Jak widać na powyższym przykładzie, sondaże mają niezwykłą moc – nie tylko prezentują zdanie opinii publicznej, ale także mogą nią manipulować, poprzez „umiejętne” zadawanie pytań.
Pytania niezbalansowane
Pytania zbalansowane powinny w wyważony sposób prezentować obie strony badanego problemu i/lub zapewnić respondentowi w kafeterii równą ilość opcji odpowiedzi dla każdej ze stron.
Przykłady pytań niezbalansowanych:
- Czy popierasz politykę militarną USA związaną z podjęciem działań wojskowych przeciwko Irakowi?
- Czy oddałeś/aś swój głos w wyborach prezydenckich w 2004?
Pytania zbalansowane:
- Popierasz czy sprzeciwiasz się polityce militarnej USA związanej z podjęciem działań wojskowych przeciwko Irakowi?
- Czy oddałeś/aś swój głos w wyborach prezydenckich w 2004 czy nie?
Istotne jest tutaj dodanie do pytania alternatywy – dzięki temu pytanie jest poprawne i pełnowymiarowe i co najważniejsze legitymizuje respondenta do udzielenia zarówno odpowiedzi tak jak i nie.
Kwestia wyważenia nie dotyczy tylko pytań, ale także odpowiedzi. Kafeteria ułożona do pytania powinna być tak skonstruowana – przynajmniej w badaniach społecznych – by posiadać równą ilość odpowiedzi zarówno dla strony pozytywnej jak i negatywnej, np. zdecydowanie się zgadzam, raczej się zgadzam, raczej się nie zgadzam, zdecydowanie się nie zgadzam. Niesymetryczna kafeteria wywiera na respondencie presję, ponieważ kładzie większy nacisk na jedną ze stron, np. cały czas, przez większość czasu, nigdy. Odpowiedzi zbalansowane mogą mieć (choć nie muszą) punkt środkowy. Zastosowanie jego zależy od tego jak bardzo badaczowi zależy na uzyskaniu odpowiedzi opowiadającej się po jednej ze stron. Zastosowanie punktu środkowego (lub odpowiedzi nie wiem) jest formą „ucieczki” od odpowiedzi.
Niniejszy artykuł został napisany w oparciu o artykuł AAPOR (https://www.aapor.org/AAPORKentico/Education-Resources/For-Researchers/Poll-Survey-FAQ/Question-Wording.aspx), który jest częścią kompleksowego kursu internetowego dla dziennikarzy, dotyczącego badań sondażowych, stworzonego we współpracy AAPOR z NewsU w ramach projektu Poynter Institute, sfinansowanego przez Knight Foundation.