W „Rzeczpospolitej” z 8 sierpnia 2014 roku ukazał się artykuł „Efekt wakacji w sferze spekulacji” prof. Mirosława Szredera, statystyka z Wydziału Zarządzania Uniwersytetu Gdańskiego. Jak zwykle, publikacje tego autora podnoszą poziom dyskusji o badaniach sondażowych. Profesor jako jedna z niewielu osób w dyskursie publicznym zwraca uwagę na bardzo ważny problem dotyczący badań sondażowych, jakim jest niski poziom realizacji próby. Informuje również, jak braki odpowiedzi mogą wpływać na wyniki badań. Naszym zdaniem jednak kilka fragmentów artykułu wymaga doprecyzowania.
Prof. Szreder napisał: „Błąd ten [braków odpowiedzi – przyp. aut.] należy do tej kategorii błędów o charakterze nielosowym, których korygowanie w wynikach sondaży wymaga zastosowania pracochłonnych procedur ważenia lub kalibracji na podstawie innych źródeł informacji o respondentach. Na to zwykle ośrodki badawcze nie mają ani czasu, ani środków finansowych otrzymanych od zleceniodawców. Procedury te stosuje się zwykle dopiero przy opracowywaniu fachowej prognozy wyborczej, krótko przed wyborami”. To prawda, że wyeliminowanie błędu wynikającego z braków odpowiedzi jest trudne, a w wielu sytuacjach wręcz niemożliwe. Istnieją jednak też stosunkowo proste sposoby, które do pewnego stopnia poprawiają jakość oszacowań. Wbrew temu co napisał autor, ważenie zebranych danych jest standardową procedurą większości (jeśli nie wszystkich) poważnych instytutów badawczych. Bez ograniczenia wpływu nierównomiernego poziomu realizacji próby w miejscowościach różnej wielkości (w badaniach face-to-face poziom realizacji na wsiach przekracza często 50-60%, a w Warszawie jest zwykle poniżej 30%) przez zastosowanie wag, wyniki badań nie miałyby wiele wspólnego z rzeczywistością. Podobnie waży się próby ze względu na inne cechy – płeć, wiek, a często również wykształcenie, aby ich rozkład w próbie odpowiadał rozkładowi populacyjnemu. Nie pozwala to na wyeliminowanie całkowitego błędu wynikającego z niskiego poziomu realizacji próby, ale jest standardową procedurą w instytutach badawczych. Procedury stosowane przy przygotowywaniu prognoz wyborczych to dużo bardziej rozbudowane modele, wymagające niejednokrotnie zadawania respondentom dodatkowych pytań oraz śledzenia trendu w wielu punktach pomiarowych.
Autor artykułu napisał również, że: „Bardzo niechętnie ośrodki badania opinii, nie tylko w Polsce, informują o skali odmów respondentów wylosowanych do próby badawczej. Jednym z niewielu źródeł informacji na ten temat było opracowanie OFBOR (Organizacji Firm Badania Opinii i Rynku) z 2011 roku, dotyczące sondaży przed wyborami prezydenckimi w Polsce w 2010 r., gdzie ujawniono, iż odsetek odmów w co najmniej kilku badaniach sondażowych przekraczał 80, a nawet 90 proc”. Tu warto podkreślić, że 80-90% non-response rate w przytoczonym raporcie dotyczył badań telefonicznych. W badaniach face-to-face z sukcesem jest realizowane więcej wywiadów. Jedną z firm, która informuje o poziomie realizacji prób jest CBOS. W tym roku w badaniach omnibusowych tej pracowni wynosił on około 40%. Wakacyjne zmiany tego poziomu można też śledzić, gdyż CBOS do comiesięcznych badań losuje taką samą liczbę respondentów, a o liczbie zrealizowanych wywiadów informuje w nocie metodologicznej dołączonej do każdego raportu.
Ostatnia uwaga dotyczy fragmentu: „Duża liczba odmów respondentów wylosowanych do badania i z konieczności dolosowanie innych daje większe prawdopodobieństwo, że trafi się na respondenta popierającego dużą partię niż taką, która ma jedno- czy dwupunktowe poparcie (szansa jedna lub dwie na sto). Stąd możliwe niedoszacowanie małych partii. Jest oczywiste, że niedoszacowanie takie musi mieć swoje odzwierciedlenie w przeszacowaniu innej partii. Ale której? Wydaje się, że obie duże partie, tj. PiS i PO, mogą być w wakacyjnych sondażach przeszacowane, chociaż w niejednakowym stopniu”. Zakładając, że próba jest dobierana w sposób prosty niezależny, a prawdopodobieństwo braku udziału w badaniu zwolenników każdej partii jest takie samo, to opisany przez prof. Szredera efekt nie występuje. Co prawda, rzeczywiście prawdopodobieństwo zastąpienia respondenta głosującego na małą partię, respondentem głosującym na dużą partię jest większe, ale trzeba jednocześnie pamiętać, że respondentów odmawiających udziału w badaniu, a popierających duże partie jest więcej – w związku z tym będzie się też zdarzało, że wyborca dużej partii odmawiający udziału w badaniu, będzie zastąpiony wyborcą małej partii. Załóżmy w uproszczeniu, że w naszej populacji mamy 99% zwolenników dużej partii i 1% zwolenników małej partii oraz, że co drugi wyborca zarówno dużej, jak i małej partii odmawia udziału w badaniu. Wylosowaliśmy 2000 adresów – 1980 należało do wyborców dużej partii, a 20 do wyborców małej partii. W związku z tym, że co druga wylosowana osoba odmówiła udziału w badaniu, to do próby trafiło 990 wyborców dużej partii i 10 wyborców małej partii – proporcja w próbie nadal odzwierciedla tę w populacji. W przypadku złożonych schematów doboru próby, efekt opisany przez prof. Szredera może się pojawić, ale jego wpływ na wyniki będzie bardzo mały.
Na zakończenie warto jeszcze tylko dodać, że choć w całym artykule piszemy głównie o odmowie udziału w badaniu, to chodzi nam również o brak możliwości skontaktowania się z osobą wylosowaną do próby – czyli o każdą sytuację w której respondent został wylosowany do udziału w badaniu, a nie udało się przeprowadzić z nim wywiadu (niezależnie, czy przez brak możliwości skontaktowania się, czy ze względu na jego odmowę udziału). Zachęcamy do zapoznania się z pełną treścią artykułu prof. Szredera, zamieszczoną na stronie: http://www.rp.pl/artykul/16,1131225-PO-i-PiS-w-wakacyjnych-sondazach.html