W listopadowych sondażach preferencji partyjnych prowadzonych przez CBOS oraz TNS Polska wystąpiły znaczne różnice w odsetku respondentów, którzy zadeklarowali oddanie głosu na Platformę Obywatelską oraz Prawo i Sprawiedliwość. W sondażu CBOS, PO ma 11 punktów procentowych przewagi nad PiS, w sondażu TNS Polska PiS ma 3 punkty procentowe przewagi nad PO. Badania były prowadzone niemal w tym samym czasie, a do zebrania danych wykorzystano wywiady bezpośrednie (face to face). Skąd zatem tak duża różnica?
Jednym z najpoważniejszych problemów, szeroko dyskutowanym w literaturze sondażowej jest spadający poziom realizacji próby. Polega on na tym, że nie udaje się przeprowadzić badania ze wszystkimi osobami wylosowanymi do próby. W przypadku gdyby się okazało, że wyborcy jednej partii – mimo wylosowania do próby – częściej nie biorą w nim udziału, to wyniki takiego sondażu mogą być poważnie skrzywione. Instytuty badawcze stosują pewne metody by zapobiegać obciążeniu wyników z tego powodu, jednak nie jest ono w pełni możliwe do wyeliminowania. Dodatkowo, mimo prowadzenia badań na około 1000 osobowych próbach, deklaracje wyborcze przedstawia jedynie około 400-500 respondentów – pozostali deklarują, że nie wezmą udziału w głosowaniu lub nie wiedzą na kogo oddadzą głos. Przy takiej liczebności próby błąd statystyczny jest wyższy niż 3%. Poza tym, o czym często się zapomina, średnio w jednym przypadku na dwadzieścia, niedokładność wyników sondażu jest większa od błędu statystycznego.
Trzeba również pamiętać, że badania sondażowe są złożonym procesem. Na rozbieżności w wynikach CBOS i TNS ma wpływ między innymi odmienny sposób doboru próby i zadawania pytań o preferencje wyborcze. Istotny może być również efekt ośrodka (house effect) związany ze sposobem postrzegania poszczególnych instytutów badawczych. Choć jesteśmy przekonani, że nie ma żadnych podstaw by zarzucać CBOS intencjonalne zawyżanie poparcia dla partii rządzącej, to jednak powtarzane w mediach slogany: „CBOS jest finansowany przez Rząd, więc manipuluje wynikami na korzyść Platformy Obywatelskiej”, mogą skłaniać część respondentów do odpowiadania zgodnie z domniemanymi oczekiwaniami ankietera (czyli zawyżać poparcie dla PO) lub prowadzić respondentów nie popierających PO do odmowy udziału w badaniu. Czy te wszystkie czynniki mogły wpłynąć na tak duże różnice między wynikami sondaży?
Tak, mogły. Przy poziomie realizacji prób poniżej 50% i około 20% odsetku osób niezdecydowanych, możliwe jest teoretyczne uzasadnienie właściwie dowolnych różnic. Skłania to jednak do refleksji nad celem prowadzenia badań sondażowych, którym jest możliwość uogólnienia wyników zaobserwowanych w próbie na całą populację. W sondażach preferencji wyborczych – oszacowanie z określoną dokładnością na jakie poparcie mogą liczyć poszczególne partie/kandydaci. Po to sondaż został wymyślony. Dzięki sukcesowi z jakim jeden z pierwszych sondaży wyborczych, przeprowadzony w 1938 roku przez Gallupa, Ropera i Crossleya, przewidział wyniki wyborów, metoda ta szybko została uznana za wiarygodne narzędzie opisu rzeczywistości społecznej.
Teoretycznie metodologii sondaży prowadzonych przez CBOS i TNS Polska trudno cokolwiek zarzucić. Jednak w praktyce, wnioskowanie przynajmniej na podstawie jednego z nich, prowadzi do wyniku dalekiego od rzeczywistych – przynajmniej deklarowanych – preferencji Polaków. Sondaże mogą być realizowane według różnej metodologii i prowadzić do dobrego wyniku. Jednak ze względu na powtarzanie się w kolejnych miesiącach, znacznych i systematycznych różnic między wynikami sondaży realizowanymi przez CBOS i TNS Polska, trzeba stwierdzić, że przynajmniej jedna z metod wykorzystywanych przez te pracownie nie prowadzi do dokładnego odzwierciedlenia rzeczywistość.
Odpowiedź na pytanie dlaczego tak się dzieje nie jest prosta i wymagałaby dostępu do know-how instytutów. Być może brakuje analiz, które dane zebrane na podstawie próby o niskim poziomie realizacji i z pewnym odsetkiem osób niezdecydowanych, pozwoliłyby zamienić na wiarygodne oszacowania. Istnieją metody statystyczne stworzone w tym celu, a najlepszym przykładem jest prognoza TNS OBOP (obecnie TNS Polska) opracowana przed wyborami parlamentarnymi z 2011 roku. Oczywiście nie należy oczekiwać, że nawet takie prognozy zawsze będą ze sobą w pełni zgodne (zresztą ich zgodność nie gwarantuje, że na ich podstawie można poprawnie szacować wyniki). Nie muszą też zawsze trafiać „w punkt” z rzeczywistym poparciem dla każdej partii. Jednak tak duże różnice jak w przypadku wyników czerwcowych sondaży CBOS i TNS Polska, podważają zaufanie do wartości informacyjnej sondaży. Być może w związku ze zmieniającymi się warunkami prowadzenia badań (głównie spadającym poziomem realizacji próby i wynikającym z tego błędem systematycznym), podawanie jedynie przeważonych wyników badań ma ograniczoną wartość informacyjną i konieczne staje się stosowanie bardziej złożonych modeli prognostycznych. Być może część metod, w pełni uzasadnionych teoretycznie, przestało się jednak sprawdzać w praktyce badawczej.