Publikując wyniki badań sondażowych gazety są zobowiązane do przestrzegania zasad rzetelności dziennikarskiej, w tym publikowania podstawowych informacji pozwalających czytelnikowi samodzielnie zinterpretować dane. Wymagania te zostały sformułowane przez profesora Antoniego Sułka w tekście „Zasady prezentacji wyników sondaży w prasie ze szczególnym uwzględnieniem sondaży politycznych” w: A. Sułek, „Sondaż Polski. Przygarść rozpraw o badaniach ankietowych”, Warszawa, 2001.
Informacje podstawowe są konieczne do interpretacji jakości i znaczenia wyniku badania sondażowego. Należy bezwzględnie wymagać ich zamieszczania w artykułach. Zespół „Na Straży Sondaży” monitoruje prasę polską, aby rozliczyć redakcje z wykonywania tego obowiązku przez przydzielanie im punktów (zobacz: ranking).
Do podstawowych informacji zaliczają się:
1) Źródło danych: gazeta publikując dane powinna podać ich źródło. Oznacza to przede wszystkim nazwę firmy czy instytucji, która wykonała badanie. Trudno przecież ocenić znaczenie i rzetelność danych, jeżeli nie wiemy skąd pochodzą dane. Czy możemy ufać danym pod którymi żadna firma nie chce się podpisać?
2) Liczebność próby jest ważną informacją w ocenie badania sondażowego. Nie znając liczebności próby nie wiemy w jakiej mierze dane uzyskane w badaniu odpowiadają tym, które są w populacji. Związane jest to z rozmiarem błędu statystycznego, który generalnie jest tym mniejszy im większa jest liczebność próby. Oznacza to, że badania przeprowadzone na większej próbie są na ogół bardziej wiarygodne (choć nie zawsze, warto przeczytać artykuł na ten temat „Co za dużo…” i związany z tym artykuł metodologiczny pseudo-przedział ufności).
3) Metoda doboru respondentów: próba Polaków, aby mówiła cokolwiek o wszystkich Polakach musi być próbą dobraną w odpowiedni sposób. Dlatego jest ważne, aby autor artykułu odwołując się do danych poinformował czytelnika, czy dane które są prezentowane pochodzą z przepytania przypadkowych osób napotkanych na ulicy, czy z próby dobranej w sposób reprezentatywny, tj. kwotowy lub losowy.
4) Technika zbierania danych: badanie ankietowe można wykonać na różne sposoby – przez telefon, przez internet, na ulicy, na umówionym spotkaniu w domu respondenta…, a każdy ze sposobów przeprowadzenia ankiety da odmienne rezultaty. Zaskakujące odpowiedzi respondentów często wynikają z zastosowania złej metody realizacji wywiadów, a jeżeli w artykule nie umieszczono informacji o metodzie zrealizowania wywiadów, czytelnik pozostaje bezradny (zobacz więcej o: metody zbierania danych).
5) Badana populacja: zdarzają się artykuły, czy wykresy zamieszczane w gazetach bez wyjaśnienia jakiej w ogóle zbiorowości dotyczą prezentowane dane. Pierwszego kandydata popiera 44%, drugiego 30%, trzeciego… itd. Oczywiście nikt nie wysilił się, żeby podać czytelnikowi informację o 30% KOGO/CZEGO jest mowa. Należy unikać takiej sytuacji i wprost podawać kogo dotyczą publikowane dane – czyli opisywać badaną populację.
6) Dokładne sformułowanie pytania przytoczone w artykule upewni czytelnika, że nie jest on poddawany manipulacji przy interpretacji wyników i pozwoli uniknąć nieporozumień, gdy autor artykułu z wyników badania wysnuwa wnioski dość pochopne lub przedstawia subiektywne interpretacje i niepewne wnioski, jako coś co bezpośrednio wynika z badania.
7) Termin realizacji badania: gdy autor przytacza wyniki badania powinien podać informację o tym, kiedy badanie zostało zrealizowane. Powinna to być data miesięczna lub dokładniejsza. Wyraziste wydarzenia i trwające w czasie procesy mają wpływ na kształtowanie się opinii Polaków. Dlatego te same dane postrzegane przez pryzmat różnych warunków i okoliczności mogą zostać zupełnie różnie zinterpretowane. Dotyczy to w zwłaszcza nastrojów politycznych, które są szczególnie zmienne. Dlatego w publikacji cytującej wyniki badań sympatii politycznych należy podawać nawet daty dzienne realizacji badania.
Oprócz informacji podstawowych i koniecznych sformułować można wymagania dodatkowe, które choć są ważne przy interpretowaniu wyników sondażu, to jednak drugorzędnie.
Informacje dodatkowe to:
1) Dodatkowe informacje o próbie: autor artykułu powinien zamieszczać bardziej szczegółowe informacje o próbie niż tylko metoda doboru respondentów i technika realizacji badania. A) Jeżeli próba jest kwotowa, powinno podać się cechy ze względu na które respondenci byli dobierani do próby. B) Jeżeli próba jest losowa, autor powinien podać wartość błędu statystycznego, czyli połowy długości przedziału ufności. Zadanie to może wydawać się trudne dla publicysty, ale przecież badanie właściwie zawsze realizuje wyspecjalizowana agencja badań, która powinna poradzić sobie z wyliczeniem tej wartości. C) Jeżeli próba była inna niż losowa lub kwotowa, autor artykułu powinien dokładnie opisać sposób w jaki respondenci byli dobierani do próby.
2) Opis podstawy procentowania: prezentując dane sondażowe, zwłaszcza w formie odsetków osób, które udzieliły odpowiedzi na pewne pytanie, wskazane jest dokładne opisanie podstawy procentowania, nawet gdy wydaje się ona oczywista. Wystarczająca powinna być np. formuła „100%=ogół badanych”. Może wydawać się to zbędne, gdy jednak zważymy na fakt, że wyniki tego samego badania można sensownie prezentować na wiele różnych sposobów, łatwo zrozumieć jak ważne jest wskazanie podstawy procentowania. Przecież preferencje wyborcze Polaków można prezentować jako poparcie dla partii politycznych wśród: a) ogółu badanych, b) dorosłych badanych, c) badanych z prawami wyborczymi, d) badanych zdecydowanych co do sympatii politycznych, e) badanych którzy deklarują że pójdą na wybory itd. Wybór każdej ze wspomnianych podstaw procentowania da inny wynik! Dlatego jest wskazane, aby w artykule podawać informacje na temat podstawy procentowania. Więcej o podstawie procentowania.
3) Poziom zrealizowania próby: dla ogólnej jakości badania, a także dla możliwości wnioskowania z próby o populacji bardzo ważne jest, jaka część osób, które poproszono o udział w badaniu, rzeczywiście wzięła w nim udział. Liczba osób, które wzięły udział w badaniu dzielona przez liczbę osób, które poproszono o udział w badaniu, nazywana jest poziomem zrealizowania próby, poziomem realizacji badania lub response rate. Jest to bardzo ważny parametr dla oceny jakości i znaczenia wyników badań sondażowych. Im niższy poziom realizacji próby, tym wnioskowanie o populacji na podstawie wyników w próbie jest bardziej wątpliwe. O tym jak wartość poziomu zrealizowania próby przekłada się na możliwość wnioskowania statystycznego więcej można przeczytać w artykule: pseudo-przedział ufności.
4) Odsetek odmów odpowiedzi: to samo dotyczy odsetka osób, które zgodziły się wziąć udział w badaniu, ale odmówiły odpowiedzi na jedno z pytań. W wielu badaniach, zwłaszcza dotyczących kwestii drażliwych lub uciążliwych, respondenci po prostu odmawiają odpowiedzi na niektóre pytania. Wysoki odsetek osób, które odmawiają odpowiedzi na dane pytanie może spowodować poważne skrzywienie wyników w próbie. Dlatego jest istotne, aby autor artykułu podając rozkłady odpowiedzi na jedno z pytań, podawał jaki odsetek osób odmówił odpowiedzi na nie.
5) Odsetek innych odpowiedzi beztreściowych: wysoki odsetek osób, które odpowiadają „nie wiem”, „trudno powiedzieć”, „ani tak, ani nie” itp. może wynikać z wielu różnych przyczyn, również takich jak kontekst badania czy zastosowana technika badawcza. Takie odpowiedzi nazywa się często odpowiedziami beztreściowymi. Jeżeli wyniki prezentuje się z wyłączeniem osób udzielających tego typu odpowiedzi, to zachwiane mogą zostać proporcje osób wyrażających inne poglądy. Jeżeli np. pytanie jest słabo zrozumiałe lub wstydliwe i 80% osób odpowie „nie wiem” albo „trudno powiedzieć”, to musi zostać odnotowane, że odpowiedzi „tak”, „nie”, czy inne zostały udzielone tylko przez 20% zbadanych. Dlatego odsetek tego typu odpowiedzi powinien znaleźć się a artykule prezentującym dane sondażowe.
Z tak sformułowanych wymagań rozliczamy gazety monitorując artykuły dotyczące sondaży i wystawiając odpowiednie oceny, odzwierciedlające poziom spełnienia wymagań. Na podstawie ocen szczegółowych przygotowywane są rankingi.