W artykule „Tusk ma z kim przegrać”[1] zamieszczonym w tygodniku ,,Newsweek” opisano sondaż przeprowadzony przez Millward Brown. Podano wiele informacji metodologicznych, jednak pytanie „Kto byłby teraz najlepszym premierem?” budzi pewne zastrzeżenia. W artykule nie określono, w jakiej formie je zadano.
O różnicy między otwartą a zamkniętą formą pytania już pisaliśmy[2] –polega ona na tym, że przy odpowiedziach zamkniętych przedstawia się respondentom listę możliwych odpowiedzi. Na pytanie otwarte udzielają jej zgodnie z własnym pomysłem i nic nie jest im sugerowane. Analizy metodologiczne wskazują, że w zależności od tego czy pytanie zadano w formie zamkniętej, czy otwartej, uzyskane wyniki mogą się znacznie od siebie różnić[3].
Klasycznym przykładem jest badanie przeprowadzone w latach osiemdziesiątych przez badaczy z Uniwersytetu Michigan. Zapytali oni o najważniejsze wydarzenie, jakie nastąpiło w ostatnich 50 latach. Połowa ankietowanych musiała wybrać spośród odpowiedzi: II wojna światowa, podbój kosmosu, zabójstwo J.F. Kennedy’ego, wynalezienie komputera, wojna w Wietnamie, inne, nie wiem. Druga połowa otrzymała pytanie otwarte. Po sprawdzeniu wyników okazało się, że w pierwszej grupie wynalezienie komputera zostało wskazane przez 30% respondentów, natomiast w drugiej odpowiedź ta została wybrana tylko przez 1% badanych.
Istotne jest więc podanie w nocie metodologicznej, jaka była forma przytaczanego pytania. W przypadku wspomnianego artykułu w ,,Newsweeku” takiej informacji zabrakło. Zespół Na Straży Sondaży dowiedział się, że pytanie zadano w formie zamkniętej. Respondenci mieli wybrać kandydata na najlepszego premiera spośród Donalda Tuska, Jarosława Kaczyńskiego, Janusza Palikota, Leszka Millera, Janusza Piechocińskiego, Grzegorza Schetyny i Leszka Balcerowicza. Możliwe były jeszcze dwie odpowiedzi „ktoś inny” oraz „nie wiem”. Niekontrowersyjny wydaje się wybór pierwszych 5 polityków, ponieważ są oni liderami partii parlamentarnych. Z wyjaśnień, jakich udzielił dopiero instytut realizujący badanie (a nie pytany w pierwszej kolejności tytuł prasowy), wynikało, że Grzegorz Schetyna pojawił się na liście, gdyż jest naturalnym kontrkandydatem Donalda Tuska w wewnętrznych wyborach w Platformie Obywatelskiej. Natomiast nazwisko Leszka Balcerowicza wystąpiło, ponieważ chciano dowiedzieć się jakim poparciem mógłby cieszyć się bezpartyjny ekspert.
Dobór takich polityków wydaje się uzasadniony. Dlaczego jednak nie uwzględniono nazwisk innych polityków, dla których również byłoby można znaleźć przekonujące uzasadnienie pojawienia się na liście? Zadając pytanie w formie zamkniętej należy zdawać sobie sprawę, że respondenci niechętnie zaznaczają odpowiedź „ktoś inny” – sugerują się tym, że powinni wskazać kogoś z listy. Dlatego też pominięcie jakichś polityków w kafeterii (liście możliwych odpowiedzi), których respondenci mogliby często wskazywać, może nie zostać ujawnione nawet w wysokim odsetku zaznaczeń odpowiedzi „ktoś inny”.
Inną cechą tego sondażu, która mogła wpłynąć na jego wyniki, było umieszczenie w kafeterii dwóch polityków z Platformy Obywatelskiej. Wydaje się, że wyniki Donalda Tuska i Grzegorza Schetyny są w sondażu zaniżone, ponieważ głosy zwolenników partii rządzącej podzieliły się między tych dwóch kandydatów. Gdyby w sondażu uwzględniono tylko jednego polityka z Platformy Obywatelskiej, to prawdopodobnie uzyskałby on wyższy wynik.
Dlaczego w takim razie nie zadano pytania w formie otwartej, które eliminowałoby te dwa problemy? Być może ze względu na spodziewane rozdrobnienie odpowiedzi – pojawiłoby się prawdopodobnie bardzo wielu kandydatów uzyskujących niskie wyniki. Innym problemem mógłby okazać się wysoki odsetek odpowiedzi „nie wiem”, ponieważ na pytania otwarte respondenci znacznie częściej udzielają takiej odpowiedzi niż na pytania zamknięte.
Trudno jest jednoznacznie stwierdzić, w jakiej formie powinno zostać zadane pytanie o najlepszego kandydata na premiera. Pewne jest natomiast, że informacja o formie, w jakiej je zadano oraz mogące wynikać z tego błędy powinny zostać opisane w artykule.
[1] A. Pawlicka, M. Krzymowski, Tusk ma z kim przegrać, ,,Newsweek”, 27.05.2013.
[2] Kto wymyślił odpowiedzi – o różnicach między otwartą a zamkniętą formą pytania [w:] http://nastrazysondazy.uw.edu.pl/kto-wymyslil-odpowiedzi-o-roznicach-miedzy-otwarta-a-zamknieta-forma-pytania/ .
[3] H. Schuman, Podstawowe różnice między otwartymi i zamkniętymi pytaniami o opinie [w:] Metoda i znaczenie w badaniach sondażowych, Oficyna Naukowa, Warszawa 2013, s. 73.