Pisanie artykułów opartych o badania sondażowe jest niezwykle wymagającym i odpowiedzialnym zadaniem, ponieważ to dziennikarz odpowiada za właściwą i poprawną interpretację danych. Dziennikarz pisząc o badaniach nie powinien bezrefleksyjnie przytaczać procentów (bez wiedzy jak te dane zostały przygotowane), ponieważ z bardzo dużym prawdopodobieństwem możne wprowadzić opinię publiczną w błąd. Szczególnie, że często nie daje się czytelnikom szansy na samodzielną ocenę jakości przytaczanych wyników przez niezamieszczenie pełnej noty metodologicznej.
Czytaj więcej na temat noty metodologicznej: Jak prezentować wyniki sondaży?
Co zatem trzeba wiedzieć na temat sondażu, żeby napisać z niego dobry artykuł (lub właściwie zinterpretować prezentowane w mediach wyniki)?
Kto przeprowadzał badanie i kto za nie zapłacił?
Bezwzględnie na samym początku powinno się określić instytucję przeprowadzającą badanie oraz instytucję, na zlecenie której to badanie było realizowane. Bez informacji o źródle danych trudna jest ocena jakości badania – jego rzetelności i wiarygodności. Nie bez znaczenia jest to, kto realizował badanie i na czyje zlecenie. Z mniejszym dystansem patrzy się bowiem na wyniki badania przeprowadzone przez znaną agencję na zlecenie niezależnej jednostki niż na badania przeprowadzone przez mało znaną agencję, np. na zlecenie firmy komercyjnej lub partii politycznej, gdzie wyniki mogą sugerować przeprowadzenie badania pod konkretną tezę. Zdarza się, że to właśnie zleceniodawca dyktuje warunki realizacji (wyznacza cele, wpływa na narzędzie badawcze etc.), dlatego warto sprawdzić przed napisaniem artykułu kto zrealizował badanie i czy postawa agencji badawczej i/lub zleceniodawcy nie budzi zastrzeżeń.
Kiedy zostało przeprowadzone?
Wiadome jest, że poglądy badanych zmieniają się w czasie, w związku z czym nie sprawdzenie terminu realizacji badania przed napisaniem tekstu uniemożliwia stwierdzenie, jakiego okresu dotyczą prezentowane informacje, czy są one aktualne i co najważniejsze, czy termin realizacji nie miał wpływu na wyniki. Istotność terminu realizacji badania jest uzależniona od jego tematyki. Są takie zjawiska społeczne, przy badaniu których powinno się podawać dzienną datę realizacji. Tak dzieje się np. w przypadku sondaży politycznych, gdzie pojedyncze wydarzenia z konkretnego dnia mogą wpłynąć na opinie respondentów.
Kto był badany?(Z jakich grup/obszarów wybierano ludzi do badania? Dla jakiej populacji dana próba jest reprezentatywna?)
Sprawdzenie kto był badany pozwala określić, na jaką populację można uogólnić wyniki badania. Dzięki temu wiadomo bez wątpliwości dla jakiej zbiorowości zbadana próba była reprezentatywna. Nie można bowiem badań przeprowadzonych, np. na studentach lub mieszkańcach dużych miast uogólniać na wszystkich Polaków, ponieważ jest to nieuprawnione. Warto więc sprawdzić przed napisaniem artykułu, czy tekst można pisać w odniesieniu do ogółu Polaków, czy nie.
Jak duża była próba i jaki był margines błędu? (Jaki jest błąd statystyczny?)
Informacja o wielkości próby mówi na ile dokładnie można wnioskować na podstawie sondażu o populacji – odsetki w próbie tylko w pewnym przybliżeniu odpowiadają odsetkom w badanej populacji, a liczba respondentów pozytywnie wpływa na dokładność oszacowań. Wielkość próby zwiększa dokładność oszacowania. Jeżeli mamy niedużą próbę, a różnice między wynikami są niewielkie to trzeba zdać sobie sprawę z tego, że mogą być one nieistotne i nie powinny być interpretowane.
Jeżeli mamy sondaż poparcia dla kandydatów na prezydenta, w którym błąd statystyczny wynosi +/- 3%, a wyniki kształtują się następująco – kandydat A 47%, kandydat B 44%, to nie można jednoznacznie powiedzieć, że większe poparcie ma kandydat A, ponieważ po uwzględnieniu błędu statystycznego okazuje się, że procentowe przedziały poparcia w dużej mierze pokrywają się, a więc różnica między kandydatami może być jedynie kwestią przypadku. Niestety, notorycznie przy badaniach poparcia politycznego zapomina się o tym.
Jak zatem odpowiednio zinterpretować wyniki z uwzględnieniem błędu statystycznego?
- Jeżeli różnica między wynikami jest większa niż podwojona wartość błędu statystycznego (np. jeżeli błąd wynosi +/-3% to różnica powinna być większa niż 6%) to jednoznacznie można wskazać lidera.
- Jeżeli różnica między wynikami jest mniejsza niż błąd statystyczny to można powiedzieć, że wyniki są bardzo zbliżone i trudno jest jednoznacznie wskazać lidera.
- Jeżeli różnica między wynikami jest równa błędowi statystycznemu, ale nie większa niż jego podwójna wartość to można powiedzieć, że jeden kandydat prawdopodobnie prowadzi lub nieznacznie wyprzedza kontrkandydata.
Jaki był sposób doboru próby?(probabilistyczny czy nieprobabilistyczny?)
Próba jest tylko częścią całej badanej populacji. Jeżeli zaniedba się dobór próby to badanie i płynące z niego wnioski w zasadzie nie mają najmniejszego sensu, dlatego warto jest poświęcić chwilę uwagi i sprawdzić jaki był dobór próby.
W metodologii badań sondażowych można wyróżnić dwa główne rodzaje doboru próby – probabilistyczny (dobry) i nieprobabilistyczny (gorszy).
Dobór probabilistyczny charakteryzuje się tym, że (w najprostszym przypadku) każdy ma takie samo prawdopodobieństwo trafienia do próby, ponieważ dobór jest losowy, a dzięki temu wyniki mogą być uogólnione na całą populację z określonym błędem statystycznym. Jest to najbardziej pożądany sposób doboru, choć niestety nie zawsze możliwy do zastosowania.
Dobór nieprobabilistyczny to z reguły dobór niepreprezentatywny (dla ogółu populacji, np. dla Polaków), ponieważ szanse trafienia do próby nie są dla każdego jednoznacznie określone. Dobory nieprobabilistyczne to, np. typowe „łapanki” respondentów na ulicy, sondy telewizyjne oraz sondaże internetowe. Dla próby nieprobabilistycznej niemożliwe jest wyliczenie błędu statystycznego. Ten dobór jest często wykorzystywany i stosowany (głównie ze względu na to, że jest łatwiejszy, tańszy i mniej pracochłonny), dlatego tym bardziej ważne jest by zachować zdrowy rozsądek i dystans przy interpretacji wyników pochodzących z tak dobranej próby.
Czytaj więcej o doborze próby: Jaka powinna być próba?
Jak kontaktowano się z respondentami?
Badania sondażowe prowadzane są różnymi metodami. Główne rodzaje badań to badania bezpośrednie (twarzą w twarz – CAPI lub PAPI), badania telefoniczne (CATI) oraz badania onlinowe (przez internet – CAWI). Warto sobie uświadomić, że wyniki badań zrealizowanych z wykorzystaniem różnych sposobów pozyskiwania danych mogą dawać różne wyniki. Dlaczego? Po pierwsze dlatego, że na to samo pytanie zadane raz przez internet, a drugi raz bezpośrednio ta sama osoba bardzo często udzieli różnych odpowiedzi. Po drugie, bezpośrednie techniki realizacji (CAPI) badania cechuje większa skłonność respondentów do uczestniczenia w badaniu, a to zaś przekłada się na jakość uzyskanych danych i możliwość uogólnienia danych na całą populację (jeżeli zaledwie co 10 respondent zgadza się na udział w badaniu, a reszta odkłada słuchawkę, gdy dzwoni do nich firma badawcza, to jakość zebranych w ten sposób danych jest wątpliwa, nawet jeżeli próba była wylosowana w sposób reprezentatywny, to trudno uznać, że zbadana zbiorowość jest reprezentatywna).
Czytaj więcej o technikach zbierania danych: Techniki zbierania danych
Czy dane były ważone? Jeśli tak to które i dlaczego?
Ważenie danych jest niezbędne w większości badań sondażowych. Dzięki nałożeniu wag zniwelowany zostaje problem niekompletności danych (czyli niemożliwości przepytania wszystkich osób, które powinny wziąć udział w badaniu), ponieważ ważenie nadaje badanej próbie proporcje charakterystyczne dla populacji. Niezwykle ważne jest by zweryfikować nałożone wagi i sprawdzić jak są one wyjaśnione (na ile jest to subiektywne, a na ile oparte na demografii, parametrach populacyjnych lub innych danych). Ciężko bowiem zaufać wynikom przeważonym przez niezweryfikowane wagi, szczególnie, że nawet delikatne przeszacowanie wagi może istotnie zmienić wnioski płynące z badania.
Jak były sformułowane pytania?
Warto sobie uświadomić jak ważna jest forma zadanego pytania. Często zmiana jednego słowa – nawet na wyrażenie synonimiczne – może zupełnie zmienić jego odbiór wśród respondentów, a w związku z tym i wyniki badania. Problem jest tu dwojaki: z jednej strony należy zwrócić uwagę na poprawność formy (poprawność sformułowania pytania), a z drugiej należy dokładnie zweryfikować treść pytania, żeby nie nadinterpretować wyników (dziennikarze często niestety nadinterpretują treść zadanych pytań, chcąc dodać im pierwiastka sensacyjności).
Pytania zadane w ankietach powinny być proste, bezpośrednie i jasne dla wszystkich (pozbawione skomplikowanych i niezrozumiałych stwierdzeń oraz żargonu branżowego). Powinny unikać tonu przypuszczającego, być zbalansowane i wyważone. Jedno pytanie powinno poruszać tylko jedną kwestię i być tak sformułowane by zbytnio nie obciążać pamięci respondenta i jego zdolności poznawczych.
Złe pytania to pytania skomplikowane, naładowane emocjami, z dużą ilością informacji w jednym zdaniu. To pytania wielokrotnie złożone lub zawierające podwójne negacje.
Czytaj więcej na temat kwestionariusza: Sztuka układania pytań
W jakiej kolejności zadawane były pytania?
Kolejność zadania pytań jest również kluczowa dla wyników sondażu, ponieważ każde pytanie ma wpływ na następne (efekt kontekstu). Inaczej odpowiemy na pytanie „Co jest obecnie najważniejszym problemem w kraju?” jeżeli będzie to pierwsze pytanie, a inaczej jeżeli poprzedzimy je szeregiem pytań o politykę społeczną i socjalną. Warto więc przed interpretacją wyników zweryfikować czy kluczowe dla naszych wniosków pytanie nie było zadane w jakimś kontekście, szczególnie w przypadku, gdy wyniki mogą nam się wydawać dość zaskakujące.
Czy wyniki badania oparte są na odpowiedziach wszystkich badanych (całej próby), czy dotyczą tylko jakiegoś podzbioru? Jeżeli podzbioru to jak dużego?
Na podstawie losowej próby Polaków można wnioskować nie tylko o wszystkich Polakach, ale również np. o Polakach w wieku 18-34 lat, gdyż próba Polaków zawiera w sobie również próbę Polaków w wieku 18-34 lat. Należy jednak pamiętać, że wnioskowanie z podpróby (np. Polaków w wieku 18-34 lat z próby reprezentatywnej dla Polaków w dowolnym wieku) na temat części populacji jest obarczone większym błędem, niż wnioskowanie z całej próby (Polaków w dowolnym wieku) na temat całej populacji. Wynika to z tego, że tylko część wylosowanych do próby Polaków jest w wieku 18-34 lat, a zatem liczebność podpróby będzie mniejsza(a czasami tak mała, że nieuprawnione jest jakiekolwiek wnioskowanie).
Niniejszy artykuł został napisany w oparciu o materiały Na Straży Sondaży oraz artykuły AAPOR (https://www.aapor.org/AAPORKentico/Education-Resources/For-Media/Questions-to-Ask-When-Writing-About-Polls.aspxoraz https://www.aapor.org/AAPORKentico/AAPOR_Main/media/MainSiteFiles/CZ_DC_jOURNALISTS.ppt), które są częścią kompleksowego kursu internetowego dla dziennikarzy piszących o badaniach sondażowych, stworzonego we współpracy AAPOR z NewsU w ramach projektu Poynter Institute, sfinansowanego przez Knight Foundation.