Sondaże są metodą zdobywania wiedzy o społeczeństwie o potwierdzonej naukowo skuteczności. Naukowcy oceniają metody badawcze oraz starają się je rozwijać od kilkudziesięciu lat. Wyniki badań ankietowych zrealizowanych zgodnie ze standardami naukowymi są wiarygodnymi informacjami o badanym zjawisku.
Posługując się kryteriami określonymi przez naukowców można sformułować podstawowe zasady oceniania badań ze względu na ich jakość. Na przykład, tylko badania reprezentatywne pozwalają na uzyskanie wiarygodnych danych, dlatego zawsze spośród dwóch badań, z których pierwsze ma dobór reprezentatywny, a drugie niereprezentatywny, wyższej jakości jest to pierwsze. Inna zasada mogłaby brzmieć, że przy takim samym doborze próby lepsze jest to badanie, które zostało zrealizowane na większej próbie. Jednak, aby czytelnik mógł przynajmniej pobieżnie ocenić jakość badania sondażowego musi posiadać informacje na temat metodologii ocenianego badania. Naukowcy określili minimalny zakres informacji na temat metodologii sondażu, jaki powinien się znaleźć w każdej publikacji opisującej jego wyniki (Sułek 2001; OFBOR 2011). Jeśli w publikacjach prasowych są pomijane te podstawowe informacje, niemożliwe staje się określenie wiarygodności prezentowanych danych.
Na podstawie artykułu „Zasady prezentacji wyników sondaży w prasie ze szczególnym uwzględnieniem sondaży politycznych” (Sułek 2001) oraz „Przewodnika ESOMAR/WAPOR – sondaże opinii publicznej i publikowanie wyników badań” (OFBOR 2011) określiliśmy siedem informacji o metodologii badania ankietowego, których pojawianie się w artykułach opisujących sondaże jest niezbędne, by można było samodzielnie ocenić wiarygodności prezentowanych informacji.
Źródło danych
Informacja o źródle danych powinna określać instytucję, która przeprowadziła prezentowane badanie. Jeśli raport ośrodka badawczego, na podstawie którego powstał artykuł jest dostępny szerszej publiczności, to informacje w artykule powinny pozwalać czytelnikowi na dotarcie do oryginalnego raportu. Niektóre organizacje badawcze publikują wiele raportów z badań i może się zdarzyć, że sama informacja o wykonawcy badania nie jest wystarczająca by czytelnik mógł dotrzeć do oryginalnych danych zamieszczonych w raporcie.
Bez informacji o źródle danych trudna staje się ocena jakości badania. Agencje badawcze korzystają z różnych sieci ankieterskich, mają różne sposoby prowadzenia badań. W przypadku największych instytutów badawczych różnice najczęściej nie są duże. Zdarza się jednak, że gazety zamieszczają wyniki uzyskane na podstawie badań, które nie zostały przeprowadzone przez profesjonalną agencję badawczą. A tego typu badania mogą cechować się znaczącymi uchybieniami metodologicznymi. Jeszcze poważniejszym problemem jest to, że nie zawsze na podstawie informacji zamieszczonych w artykule można stwierdzić, czy prezentowane wyniki były rezultatem przeprowadzenia badania sondażowego, czy może są to dane administracyjne lub informacje uzyskane w inny sposób.
Jednym z najbardziej rażących przykładów braku informacji o źródle danych był artykuł zamieszczony na stronie internetowej „Gościa Niedzielnego”, w którym napisano, że na 1000 pedofilów, 400 to homoseksualiści, a 1 to ksiądz. Dopiero po kilku dniach redakcja opublikowała sprostowanie, w którym została przytoczona literatura dotycząca problemu pedofilii, jednak nadal trudno było określić skąd wzięły się tak precyzyjne dane w poprzednim artykule (Na Straży Sondaży 2013a).
Kto był badany – populacja
Określenie, na jaką populację można uogólnić wyniki badania polega na przedstawieniu dla jakiej zbiorowości zbadana próba była reprezentatywna. Ważne jest, czy prezentowane wyniki dotyczą poglądów Europejczyków, dorosłych Polaków, studentów Uniwersytetu Warszawskiego, czy jeszcze innej grupy. Zdarza się również, że w badaniu poza wynikami dla całej próby podaje się wyniki dla podzbiorowości – np. dane na temat bezrobocia prezentuje się w grupach wiekowych. W takim przypadku należy dokładnie oddzielać wyniki odnoszące się do całej populacji od wyników dla jej części.
Sondaż, jeśli jest przeprowadzony zgodnie ze standardami metodologicznymi umożliwia poznanie opinii całej zbiorowości, chociaż bezpośrednio o zdanie pyta się tylko wybraną grupę np. 1000 osób. Dokładnie na tym polega reprezentatywność; jednak nie można dobrać próby spośród mieszkańców wielkich miast, a wyniki przedstawiać jakby opisywały wszystkich mieszkańców Polski. I tym bardziej, jeśli w badaniu brali udział wyłącznie mieszkańcy wielkich miast, to należy napisać, że wnioski wyciągnięte na podstawie wyników dotyczą tej właśnie zbiorowości.
W niektórych artykułach pomija się zupełnie populację, na którą można uogólnić wyniki badania i mówi się tylko o respondentach bez precyzowania, kim byli (Na Straży Sondaży 2013b). Jeszcze innym przypadkiem jest sytuacja, w której mówi się o wynikach sondaży w taki sposób jakby był on samoistnym bytem, a nie wyrazem opinii przebadanych osób (Na Straży Sondaży 2013c). Takie sytuacje nie powinny mieć miejsca, ponieważ uniemożliwiają określenie, kogo dotyczą poglądy przedstawione w sondażu.
Kiedy, czyli termin realizacji badania
Dokładność określenia terminu realizacji badania powinna być dostosowana do jego tematyki. Są takie zjawiska społeczne, przy badaniu których powinno się podawać dzienną datę realizacji badania. Tak dzieje się np. w przypadku sondaży politycznych, na wyniki których wpływ mogą mieć informacje pojawiające się w mediach danego dnia. Gdy w dniu przeprowadzania badania opisano jakąś „aferę” w jednej z partii, poparcie dla niej może być w sondażu niższe, niż odnotowano by już kilka dni później. Oczywiście inne problemy mogą nie wymagać tak dokładnej informacji. Wydaje się, że w przypadku bardziej ogólnych tematów wystarczająca jest data miesięczna. Gdy na przykład w badaniu pytano Polaków o to jakiej muzyki słuchają, trudno byłoby uzasadnić potrzebę większej dokładności niż tylko podanie roku i miesiąca, w którym zrealizowano badanie.
Wiadome jest, że poglądy badanych zmieniają się w czasie, w związku z czym brak określenia w artykule terminu realizacji badania uniemożliwia stwierdzenie jakiego okresu dotyczą prezentowane informacje. Od czasu ich przeprowadzenia opinia publiczna na dany temat mogła się zmienić. Podanie terminu realizacji badania pozwala również na łatwiejsze dotarcie do oryginalnego raportu z badania i zapoznania się z dokładniejszą informacją na jego temat. Zdarza się także, że autorzy artykułów piszą o „najnowszym” lub „ostatnim” badaniu, które dla sondaży poparcia politycznego pojawiają się dość często – a zatem pod tym określeniem kryć się może „ten tydzień”; natomiast wobec badań dotyczących zrealizowanych rzadziej ostatnie może być badanie sprzed 2-3 lat. Niekoniecznie świadczy to o jego nieaktualności, ale z powodu możliwych tak dużych rozbieżności, konieczne jest doprecyzowanie używanych pojęć.
Ze względów metodologicznych termin realizacji badania jest ważny, ponieważ wskazuje jak szybko zostało przeprowadzone badanie, a niestety szybkość realizacji idzie często w parze z niską jakością. Dłuższy czas zbierania danych pozwala na ponawianie prób kontaktów z respondentami, do których nie udało się za pierwszym razem dotrzeć lub akurat w tym dniu nie mieli czasu wziąć udziału w badaniu. Czasem ważne może się okazać, w jaki dzień tygodnia był prowadzony sondaż, bo nie wszystkie osoby są dostępne i chętne na udział w badaniu w takim samym stopniu w każdym dniu tygodnia.
Czy wystarczająco duża grupa – liczebność próby
Opis liczebności próby jest ważną informacją przy ocenie jakości badania sondażowego. Brak tej informacji uniemożliwia określenie, na ile wyniki uzyskane w sondażu odpowiadają tym w populacji. Należy pamiętać, że odsetki w próbie tylko w pewnym przybliżeniu odpowiadają odsetkom w badanej populacji, a liczba przebadanych osób pozytywnie wpływa na dokładność oszacowań w badaniach. Zwiększenie liczebności próby w badaniu ankietowym prowadzi na ogół do zdobycia bardziej dokładnych informacji na badany temat. Warto jednak podkreślić, że nie jest tak zawsze, gdyż nawet bardzo duża próba w badaniu niereprezentatywnym może być obciążona dużo większym błędem niż znacznie mniejsza próba losowa (Na Straży Sondaży 2013d).
Warto zwracać uwagę na liczebność próby, ponieważ zdarza się, że gazety przedstawiają wyniki na podstawie badań, w których przebadano niezbyt dużą próbę. Przykładem mogą być artykuły „Naiwni jak pracownicy?” i „Polacy mają dość pracy ponad siły” opublikowane w „Rzeczpospolitej” i „Gazecie Wyborczej”, w których zostały zaprezentowane wyniki badań na próbie 405 osób (Na Straży Sondaży 2013e). Warto odróżniać badania ze względu na liczebność przebadanej w nich próby, gdyż te o większej liczebności są zwykle dokładniejsze.
O co właściwie zapytano? Jak brzmi dokładne sformułowanie pytania
Dokładne sformułowanie pytania jest kolejnym podstawowym punktem, który powinien się znaleźć w każdym artykule opisującym sondaż. Często zmiana jednego słowa – nawet na wyrażenie synonimiczne – może zupełnie zmienić jego odbiór wśród respondentów. W artykułach konieczne jest przytoczenie dokładnego brzmienia pytania. Pozwala ono uniknąć nieporozumień, mogących pojawić się choćby ze względów stylistycznych w samej treści artykułu. Żeby można było stwierdzić poprawność wniosków opisanych w artykule trzeba wiedzieć, na jakie pytanie odpowiadali respondenci.
Jednym z przykładów obrazujących problem braku informacji o zadanym pytaniu był szum medialny po publikacji CBOS na temat przerywania ciąży przez Polki. W publikacjach pojawiały się wnioski na temat tego, ile Polek dokonało aborcji, a jednak przynajmniej dla części respondentów „przerwanie ciąży” i „aborcja” mogły nie być wyrażeniami pokrywającymi się. Część dziennikarzy zamiast o liczbie kobiet, które dokonały aborcji, pisało o liczbie dokonanych aborcji (Na Straży Sondaży 2013f). Przedstawienie dokładnej treści pytania uniemożliwiłoby taką nadinterpretację.
W dokładnym opisie zadanego pytania należy także uwzględnić, czy było ono umieszczone w kwestionariuszu w formie zamkniętej czy otwartej, gdyż forma w jakiej proponuje się respondentowi udzielenie odpowiedzi może poważnie wpływać na uzyskane wyniki (Na Straży Sondaży 2013g). Najlepszym rozwiązaniem jest zaprezentowanie treści pytania wyraz z możliwymi odpowiedziami lub stwierdzeniem, że pytanie zostało zadane w formie otwartej.
Na kartce czy przez telefon – technika zbierania danych
Brak określenia techniki zbierania danych zastosowanej w sondażu poważnie utrudnia ocenę wiarygodności i dokładności uzyskanych wyników. Badania ankietowe mogą być przeprowadzone w różny sposób. Dane zbierać można między innymi poprzez bezpośrednie wizyty ankietera w mieszkaniu respondenta, przez telefon czy przez Internet. Techniki te mają swoje wady i zalety, a wyniki badań zrealizowanych z wykorzystaniem różnych sposobów pozyskiwania danych mogą dawać różne wyniki.
Techniką zbierania danych cechującą się najwyższą jakością są wywiady bezpośrednie. Do ich realizacji najłatwiej jest dobrać respondentów, a osobisty kontakt ankietera z badanymi wpływa pozytywnie na motywację do udziału w badaniu. Realizowanie sondażu takim sposobem jest jednak droższe od pozostałych. Kontakt z respondentami przez telefon jest utrudniony, gdyż wiele osób odmawia udziału w tego typu badaniach. Przez to, że część osób nie posiada telefonu, a inne posiadają ich kilka, to trudne staje się też dobranie odpowiedniej próby. Najtrudniej dotrzeć do próby odpowiadającej całej populacji wykorzystując do zbierania danych ankietę wypełnianą przez Internet, bo w Polsce wciąż istotna część ludności nie korzysta z Internetu (i nie ma szans znaleźć się w próbie).
W artykułach prasowych pojawiają się czasem wyniki uzyskane na podstawie badań internetowych, których wiarygodność i precyzja oszacowań nie jest jeszcze dobrze znana. Jednak nie przeszkadza to gazetom w przytaczaniu wyników takich badań (Na Straży Sondaży 2013e). Gdy w artykule nie podano informacji o sposobie zbierania danych, nie wiadomo czy badanie zostało przeprowadzone zgodnie ze sprawdzoną metodologią.
Na ile reprezentatywny wynik – metoda doboru respondentów
Informacja na temat metody doboru respondentów jest zupełnie podstawowa przy ocenie jakości sondażu. Opis metodologiczny powinien przede wszystkim określać czy próba jest reprezentatywna, a więc czy jej wyniki można uogólnić na populację, której dotyczy badanie. Bez tej informacji nie ma możliwości oceny wiarygodności wyników uzyskanych na podstawie sondażu. Badanie ankietowe jest o tyle rzetelnym sposobem pomiaru opinii większej zbiorowości (na podstawie przepytania mniejszej grupy), o ile jest reprezentatywne. W przeciwnym wypadku jego wyniki obejmują zupełnie przypadkowe osoby i równie prawdopodobne jest, że pytając inne przypadkowe osoby uzyskane dane byłyby odwrotne. Tylko próby reprezentatywne pozwalają na wnioski dotyczące populacji tj. szerszej grupy, z której została wylosowana próba.
Jeśli próba nie jest reprezentatywna, to do zaprezentowanych na jej podstawie wyników należy podchodzić bardzo ostrożnie lub w ogóle nie przejmować się jej wynikami. Niereprezentatywne zbieranie opinii nazywa się sondą w odróżnieniu od reprezentatywnych sondaży. Rezultatów sond nie można uogólnić na żadną populację, więc na jej podstawie dowiadujemy się tylko co myślą na jakiś temat osoby, które wzięły w niej udział.
Inaczej jest w przypadku badań reprezentatywnych, na podstawie których z określonym przybliżeniem można wnioskować o całej populacji, z której została dobrana próba. Istotne jest jednak także odróżnienie reprezentatywności zagwarantowanej przez losowy dobór próby od reprezentatywności w próbie kwotowej. Ta pierwsza oparta jest na rachunku prawdopodobieństwa i statystyce matematycznej – nie wymaga żadnej teorii społecznej dotyczącej badanego zjawiska, by opinie zebrane w sondażu rzeczywiście można było z określoną dokładnością przenieść na opinie populacji. Inaczej jest z próbą kwotową, która wymaga znajomości społecznej teorii zjawiska, ponieważ badacz musi mieć poważne przesłanki decydujące o tym, od jakich cech zależy badany problem, by do próby dobrać odpowiednie proporcje osób o tych cechach. Połączeniem obu metod są próby losowo-kwotowe.
Metoda doboru próby jest bardzo ważną cechą sondaży, a brak informacji o niej zupełnie podważa wiarygodność prezentowanych wyników. Konieczne jest zwrócenie uwagi na problem metody doboru próby, ponieważ w artykułach zamieszczanych w Internecie, ale i tych publikowanych w prasie często pojawiają się i są komentowane wyniki sond (Na Straży Sondaży 2013h). Czytelnicy, często zupełnie nie zdając sobie sprawy z jakościowej różnicy między dwoma typami badań, mogą nabrać błędnych przekonań na temat zjawiska omawianego w artykule.