W dzienniku „Rzeczpospolita” z 8 sierpnia 2014 roku został opublikowany artykuł Pawła Majewskiego „Tuskowi zagraża Schetyna i szef MSZ”. W tekście zostały opisane wyniki badania zleconego przez dr. hab. Norberta Maliszewskiego, dotyczące między innymi wizerunku kilku polityków Platformy Obywatelskiej. W pełnej wersji raportu zamieszczonej na stronie www.tajnikipolityki.pl[1] możemy przeczytać, że „badanie zostało przeprowadzone przez panel badawczy Ariadna metodą CAWI na ogólnopolskiej próbie Polaków liczącej N=1039 osób reprezentatywnej ze względu na płeć, wiek, wielkość miejscowości zamieszkania, zamiar udziału w wyborach parlamentarnych i poparcie dla partii politycznych”. Przy okazji poprzedniego badania na podobnej próbie informowaliśmy dr. hab. Norberta Maliszewskiego, że prowadzone w ten sposób badania nie są reprezentatywne dla ogółu Polaków – dziś więcej szczegółów.
Według przeprowadzonego w tym roku badania CBOS[2] z Internetu przynajmniej raz w tygodniu korzysta 63% Polaków. Zgodnie z danymi GUS za rok 2013[3] dostęp do Internetu ma 72% gospodarstw domowych. Można więc ostrożnie szacować, że ok. 30% Polaków nie korzysta z Internetu. Eliminuje to możliwość przeprowadzenia badania internetowego na reprezentatywnej dla ogółu Polaków próbie losowej, gdyż warunkiem koniecznym takiej reprezentatywności jest niezerowe i określone prawdopodobieństwo trafienia do próby każdej jednostki z populacji, na którą chce się uogólnić wyniki. Jeśli do około 30% Polaków nie można w ten sposób dotrzeć, to oczywiste staje się, że o próbie losowej w badaniu internetowym mowy być nie może.
O reprezentatywności można mówić również w odniesieniu do prób kwotowych. W tym rozumieniu próba reprezentatywna to taka, której skład odpowiada składowi populacji ze względu na wybrane przez badacza zmienne. W takim przypadku trzeba jednak przyjąć założenie, że poza zmiennymi na podstawie których badacz dobierał respondentów do badania, nie ma żadnych innych zmiennych mogących istotnie wpływać na wyniki. O tym założeniu często się zapomina, a jest ono bardzo ważne. Dla przykładu przyjmijmy, że chcemy zbadać ile osób w Polsce korzysta z Internetu. Żeby oszacowania były wiarygodne zakładamy, że próba ma odzwierciedlać strukturę populacji ze względu na wiek, płeć, wykształcenie i wielkość miejscowości zamieszkania respondentów. Niezależnie od tego jak dokładnie rozkłady w próbie będą zgodne z rozkładem w populacji, jeśli badanie przeprowadzimy przez Internet, to nie powinniśmy się spodziewać wartościowych rezultatów. Badanie zamówione przez dr. hab. Norberta Maliszewskiego nie jest aż tak skrajnym przykładem. Jeśli jednak zgodzimy się, że wizerunek polityków Platformy wśród osób w takim samym wieku, takiej samej płci, mieszkających w miejscowości o takiej samej wielkości, może się różnić, w zależności od tego czy osoby te korzystają, czy nie korzystają z Internetu, to musimy się również zgodzić, że badanie to nie jest reprezentatywne dla ogółu Polaków. Wydaje się, że nie ma przekonujących dowodów, że wizerunek polityków PO (mimo kontrolowania innych cech) wśród internautów i nieinternautów jest taki sam, więc nie ma też podstaw by mówić, że wyniki badania są reprezentatywne dla ogółu Polaków. Dodatkowym problemem jest to, jak różni się ogół internautów od internautów zapisujących się do paneli internetowych, by w zamian za wypełnianie ankiet otrzymywać nagrody.
Odnośnie samej metodologii badania przeprowadzonego przez dr. hab. Norberta Maliszewskiego, zastanawia fakt, że wśród zmiennych ze względu na które wyznaczono kwoty nie ma wykształcenia. Jest to bardzo istotna zmienna, od której może zależeć między innymi sposób postrzegania różnych przedstawicieli PO. Nie ma też podstaw by zakładać, że rozkład wykształcenia w próbie realizowanej przez Internet miałby być „automatycznie” zgodny z rozkładem populacyjnym, bo jak wskazują dane wśród osób z wykształceniem podstawowym jest znacznie mniej internautów, niż wśród osób z wykształceniem wyższym[4]. Interesujące wydaje się również pytanie, jak zostały wyznaczone kwoty ze względu na zamiar udziału w wyborach parlamentarnych i poparcie dla partii politycznych. W przypadku zmiennych takich jak wiek, płeć, wykształcenie czy wielkość miejscowości zamieszkania, jako dane populacyjne przyjmuje się wyniki publikowane przez GUS. Niestety, GUS nie zajmuje się preferencjami wyborczymi, w związku z czym prawdopodobnie odsetek ten był szacowany na podstawie badań sondażowcy prowadzonych przez inne instytuty. W związku z różnicami zarówno w metodologii prowadzenia badań wyborczych oraz wynikach dla różnych ośrodków, warto byłoby poinformować jakie założenie przyjęli autorzy badania. Zgodnie z opisami zamieszczonymi w prezentacji dostępnej na stronie www.tajnikipolityki.pl, do próby trafiło 240 zwolenników PO i 799 zwolenników innych partii. Powstaje w takim razie pytanie – czy zwolennik partii, to osoba deklarująca, że odda na nią głos w wyborach? Jeśli tak, to chyba jednak kwota ze względu na deklarowany udział w wyborach nie została nałożona, bo suma zwolenników PO i zwolenników innych partii sumuje się do 1039 (czyli wszystkich przebadanych osób). Jeśli nie, to jak wyznaczono kwoty do tego badania (chyba wszystkie ośrodki badawcze pytają o to, na kogo respondent oddał by głos, w związku z czym o preferencjach politycznych osób nie zamierzających głosować nie ma bieżących informacji). Wydaje się również, że mimo ostatnich spadków notowań i różnic w wynikach badań politycznych między ośrodkami, liczba zwolenników PO w próbie jest dość niska – 23%. Biorąc pod uwagę, że nie ma osób niezdecydowanych skoro wyniki zwolenników PO i innych partii sumują się do 100%, można podejrzewać, że jej wynik jest zaniżony. W związku z tym, połączone wyniki dla obu grup wydają się niewiarygodne (zbyt mała liczba zwolenników PO, którzy – zgodnie z raportem – inaczej postrzegają poszczególnych polityków, niż zwolennicy innych partii.).
Wątpliwości budzą też poszczególne pytania i analizy. Zastanawia fakt, że w pytaniu o wizerunek polityków, nie pojawiają się odpowiedzi „nie znam tego polityka” – wskazano, że wykres prezentuje odpowiedzi wszystkich 1039 respondentów. Według badań CBOS[5] np. wicepremier Bieńkowskiej nie zna 43% respondentów. Pojawia się w związku z tym pytanie, czy zamieszczone w raporcie analizy dotyczą tylko osób, które deklarowały znajomość wszystkich wymienionych polityków (bardzo specyficzna grupa), czy była możliwość zaznaczenia, że nie zna się któregoś polityka, a tylko w raporcie o tym nie poinformowano? Jeśli to pierwsze, to prawdopodobnie w przypadku wicepremier Bieńkowskiej wiele osób zaznaczało odpowiedzi mimo, że jej nie znało. Jeśli to drugie, to próba w przypadku pani wicepremier było o około połowę mniejsza, niż opisano na slajdzie (co szczególnie ważne w analizach wizerunku tylko wśród zwolenników PO, gdzie próba mogła spaść do około 150 respondentów). Wątpliwości budzi również pytanie o to, kto powinien zostać następcą Donalda Tuska na stanowisku premiera, jeśli Donald Tusk przyjąłby funkcję szefa Rady Europy. Do pytania była dołączona kafeteria. Gdyby kafeteria zawierała inne nazwiska, to mogłoby się okazać, że rozkłady odpowiedzi na to pytanie byłyby inne – np. podobni kandydaci mogą sobie odbierać poparcie (pisaliśmy już o tym problemie[6]). Innym problemem jest wieloznaczność tego pytania – nie było doprecyzowane, czy chodzi o osobę z PO, czy niekoniecznie. Wysoki odsetek odpowiedzi „inna osoba” może świadczyć, że wielu respondentów uznało, że nie musi to być przedstawiciel PO. Również do interpretacji zaprezentowanych wyników analizy korespondencji można mieć wątpliwości. Czy uznanie jakiegoś polityka za kompetentnego i lubianego oznacza, że jest podziwiany? Być może to, że rozumie potrzeby przeciętnych Polaków rzeczywiście znaczy, że jest „taki jak ja”, ale dlaczego o tym, że „jest taki jak ja” miałoby świadczyć uznanie polityka przez wielu respondentów za patriotę? Wydaje się, że do opisów wymiarów można mieć sporo wątpliwości – być może, jeśli trudno jest zinterpretować za co dany wymiar odpowiada, to nie należy go wcale interpretować? Warto przypomnieć, że w analizie korespondencji oznaczenia wymiarów są wynikiem poza statystycznej interpretacji, a ze statystyki wynikają tylko odległości – w tym przypadku – polityków od przypisanych im przez respondentów cech.
Na zakończenie warto zaznaczyć, że część analizy do których zgłaszamy wątpliwości nie pojawiła się w artykule zamieszczonym w Rzeczpospolitej. Autor artykułu przytacza też inny opis metodologii badania, niż jest zamieszczony w raporcie ze strony www.tajnikipolityki.pl – „Badanie internetowe na grupie panelu badawczego Ariadna dobranej pod względem płci, wieku, wielkości miejsca zamieszkania, zamiaru udziału w wyborach parlamentarnych i poparcia dla partii politycznych, N=1039, 29-31 lipca”. Informacja o reprezentatywności się nie pojawia, co w przypadku tego badania uważamy za słuszną decyzję.
[1] http://www.tajnikipolityki.pl/Wizerunki-liderow-PO.pdf
[2] Badanie „Aktualne problemy i wydarzenia” (287) przeprowadzono metodą wywiadów bezpośrednich (face-to-face) wspomaganych komputerowo (CAPI) w dniach 3–9 kwietnia 2014 roku na liczącej 1028 osób reprezentatywnej próbie losowej dorosłych mieszkańców Polski.
[3] Społeczeństwo informacyjne w Polsce. Wyniki badań statystycznych z lat 2009-2013, pełna nota metodologiczna znajduje się w raporcie zamieeszczonym na stronie http://stat.gov.pl/files/gfx/portalinformacyjny/pl/defaultaktualnosci/5497/1/7/4/spolecz_inform_w_polsce_2009-2013.pdf
[4] Badanie „Aktualne problemy i wydarzenia” (287) przeprowadzono metodą wywiadów bezpośrednich (face-to-face) wspomaganych komputerowo (CAPI) w dniach 3–9 kwietnia 2014 roku na liczącej 1028 osób reprezentatywnej próbie losowej dorosłych mieszkańców Polski.
[5] Badanie „Aktualne problemy i wydarzenia” (289) przeprowadzono metodą wywiadów bezpośrednich (face-to-face) wspomaganych komputerowo (CAPI) w dniach 5–11 czerwca 2014 roku na liczącej 1044 osoby reprezentatywnej próbie losowej dorosłych mieszkańców Polski. Badanie zostało zrealizowane przed ujawnieniem afery podsłuchowej.
[6] http://nastrazysondazy.uw.edu.pl/premier-najlepszy-z-listy/