Na początku maja „Rzeczpospolita” [1] opublikowała prognozę przed wyborami do Parlamentu Europejskiego, która została przygotowana przez IBRiS Homo Homini na podstawie sondażu przeprowadzonego między 16 i 23 kwietnia 20114 roku [2]. Zleceniodawcami badania oprócz „Rzeczpospolitej” byli również RMF FM oraz portal Interia.pl.
Prognozie tej warto przyjrzeć się nie tylko ze względu na rozmiar próby sondażu przeprowadzonego na jej potrzeby (w badaniu wzięło udział 17 tysięcy respondentów). Już sama chęć przewidzenia wyników zbliżających się wyborów wydaje się być czymś ciekawym i wartym zadania kilku dodatkowych pytań.
Czym różni się prognoza wyborcza od tradycyjnego sondażu politycznego?
Prognozowanie wyników wyborczych wiąże się z koniecznością osadzenia jednorazowego pomiaru opinii publicznej w specyfice konkretnych wyborów. W konsekwencji na etapach zarówno zbierania, jak i analizowania odpowiedzi respondentów przyjmowane są pewne założenia, które mają pomóc w lepszym, czyli bardziej trafnym przewidzeniu ostatecznych rozkładów głosów, które znane będą dopiero po przeprowadzeniu wyborów.
Głównym wyzwaniem dla sondaży w kontekście wyborów do Parlamentu Europejskiego jest frekwencja. Problem ten objawia się między innymi tym, że potencjalna frekwencja wyliczana na podstawie deklaracji respondentów w poszczególnych pomiarach sondażowych okazuje się zdecydowanie wyższa od poziomu frekwencji typowego dla „euro-wyborów” w Polsce (w latach 2004 i 2009 wyniosła ona kolejno: 20,42% i 24,53%). Również w przywołanym wcześniej sondażu Homo Homini deklarowana frekwencja wyniosła 38%.
Chcąc trafnie przewidzieć wyniki wyborów do parlamentu Unii Europejskiej należy pamiętać o problemie frekwencji, który powinien zostać uwzględniony w metodologii badania. Kwestia ta pozostaje ważna również dlatego, że do przeszacowania frekwencji dochodziło także w przypadku sondaży poprzedzających poprzednie „euro-wybory”. Z punktu widzenia prognozy wyborczej wyzwaniem staje się więc określenie tego, którzy spośród badanych rzeczywiście oddadzą swoje głosy w dniu wyborów, a którzy ostatecznie nie zagłosują [3]. Rozwiązanie tego dylematu może okazać się kluczem do trafnej prognozy odsetków poparcia dla kandydatów do Parlamentu Europejskiego i reprezentowanych przez nich komitetów wyborczych.
Czego możemy się dowiedzieć na temat prognozy Homo Homini z mediów?
Prognoza przeprowadzona przez Homo Homini wyróżnia się na tle dotychczasowych sondaży przedwyborczych. Zdecydowana większość politycznych badań opinii bazuje nie tylko na o wiele mniejszych próbach (zwykle kojarzonych z 1000 osób), ale również na próbach, których liczebność dotyczy ogółu Polaków.
W przypadku prognozy Homo Homini tradycyjny rozmiar próby został przypisany do każdego z województw, co w sumie dało liczebność całkowitą N=17 000 osób (w województwie mazowieckim przepytano 2000 respondentów). Interesującą kwestią w tym kontekście pozostaje jednak to, dlaczego Homo Homini zdecydowało się na dobór respondentów z uwzględnieniem podziału na województwa (16), a nie na okręgi wyborcze (13)? Warto zauważyć też to, że same wyniki prognozy zostały już zaprezentowane w „Rzeczpospolitej” z uwzględnieniem podziału na okręgi wyborcze. Artykuł Pawła Majewskiego oraz komentarz prezesa Homo Homini do wyników sondażu i prognozy nie wyjaśniają, dlaczego zastosowano taki zabieg.
Prognoza zrealizowana przez Homo Homini jest również pierwszym sondażem, na podstawie którego można przewidywać rozkład polskich mandatów w Parlamencie Europejskim. Wcześniejsze prognozy polegały na szacowaniu rozkładów głosów w poszczególnych okręgach wyborczych jedynie w oparciu o wyniki poprzednich „euro-wyborów” zanotowane w tych samych okręgach wyborczych [4].
Prognoza Homo Homini została skonstruowana na podstawie sondażu przeprowadzonego między 16 i 23 kwietnia 2014 r. Jej wyniki różnią się od wartości uzyskanych w ramach samego sondażu. Na łamach „Rzeczpospolitej” dowiadujemy się, że różnice te wynikają z konieczności uwzględnienia problemu przeszacowanej frekwencji oraz wielu innych czynników mających wpływ na ostateczny kształt prognozy.
Zapewnienie o przyjęciu przez agencję badawczą pewnych założeń mających na celu uzyskanie trafnego przewidywania nie jest jednak równoznaczne z jasnym i precyzyjnym określeniem tego, na czym przyjęte założenia polegały? Czytelnik otrzymując wyniki prognozy, w gruncie rzeczy, wciąż dysponuje informacją niepełną i trudną do sprawdzenia. Niedookreślenie metodologii badania tworzy więc barierę – czytelnik ma ograniczone pole do oceny wiarygodności prognozy i jedyne dla niego wyjście z tej sytuacji sprowadza się do podjęcia czysto arbitralnej decyzji o tym czy w tę prognozę uwierzy czy też nie uwierzy?
Wątpliwości wynikające z braku szczegółowych informacji na temat prognozy Homo Homini
Milczenie mediów na temat założeń przyjętych w badaniu Homo Homini sprawia, że wiele pytań ważnych z metodologicznego punktu widzenia pozostaje bez odpowiedzi. Duża próba i mały błąd oszacowania nie są bowiem wystarczającą informacją na temat jakości sondażu oraz siły przewidywania prognozy.
Oprócz błędu wynikającego z losowego charakteru próby ważne pozostają również błędy systematyczne, których to znajomość dałaby dopiero szansę na wypracowanie bardziej konkretnego obrazu badania. Warto pamiętać też o tym, że duża próba sondażu (N=17 000) wcale nie musi niwelować wielu systematycznych problemów, które na ogół ograniczają precyzję oszacowań sondaży realizowanych na o wiele mniejszych próbach. Odsetek braków odpowiedzi, response rate (miara pokazująca, ilu spośród wylosowanych respondentów zdecydowało się wziąć udział w badaniu, a ilu nie), a także konsekwencje związane z przyjęciem metody wywiadu telefonicznego to kwestie, które powinny zostać opisane w kontekście założeń przyjętych na potrzeby prognozy wyniku wyborczego.
Sposób rozwiązania problemów związanych z dotarciem do respondentów to nie jedyna miara jakości sondażu. Z punktu widzenia prognozy przed wyborami do Parlamentu Europejskiego istotne pozostaje również to w jaki sposób rozważono kwestię przeszacowywanej w sondażach frekwencji. Medialna prezentacja badania Homo Homini nie daje odpowiedzi na to zagadnienie i jedynie zostawia czytelnika z zapewnieniem, że kwestia ta została uwzględniona na etapie opracowywania prognozy. Czy jednak brak wiedzy na temat tego jak przekształcano surowe dane (odpowiedzi respondenckie) w predykcje wyborcze stanowi wystarczającą podstawę by stwierdzić: wierzę lub nie wierzę w tę prognozę?
[1] P. Majewski, Remis ze wskazaniem. Kandydaci ciągną w dół wynik PiS, Rzeczpospolita, 07.05.2014.
[2] Informacje na temat badania sondażu i prognozy IBRiS Homo Homini: badanie przeprowadzono w dniach 16-23 kwietnia 2014 metodą wywiadów telefonicznych, objęło 1000 osób w każdym województwie (w województwie mazowieckim przebadano 2000 respondentów), łączna próba wyniosła N=17 000 osób, błąd oszacowania 0,7 proc., poziom ufności 0,95.
[3] O problemie przeszacowanej frekwencji w bardzo ciekawy sposób pisze również: M. Szreder, Sondażowe kłopoty z eurowyborami, http://www.rp.pl/artykul/1105365.html, 28.04.2014.
[4] Przykładem prognozy polegającej na ważeniu odpowiedzi respondentów w oparciu o wyniki poprzednich wyborów jest: http://www.polskatimes.pl/artykul/3420367,po-o-wlos-przed-pis-czyli-kto-wezmie-najwiecej-mandatow-w-eurowyborach-zobacz-symulacje,id,t.html.