W związku z sondażem wykonanym przez Państwa pracownię dla TVN na temat najlepszego premiera, chcielibyśmy poznać Państwa opinię na ten temat. Czy mógłby Pan opisać jak sondaż został przeprowadzony, szczególnie jaka była kafeteria?
Badanie zostało zrealizowane za pomocą sondażu CATI na reprezentatywnej próbie ogólnopolskiej posiadaczy telefonów stacjonarnych i komórkowych, w wieku 18+, o liczebności N=1004, w dniu 10 września 2013. Pytanie dotyczące wyboru najlepszego premiera brzmiało: „Kto Pana(i) zdaniem byłby w obecnej sytuacji społeczno-politycznej najlepszym premierem rządu?” Następnie respondentom odczytywano w losowej kolejności następujące nazwiska:
Donald Tusk
Jarosław Gowin
Grzegorz Schetyna
Jerzy Buzek
Leszek Miller
Jarosław Kaczyński
Ponadto respondenci mogli wybrać opcje:
Inny polityk
Nie wiem \ trudno powiedzieć
Jaki wpływ na dobór kandydatów miała telewizja, a jaki Pana agencja?
Nazwiska do badania wskazał nasz klient. Uznał, na podstawie własnego doświadczenia i wiedzy na temat aktualnej sceny politycznej, że przedstawione nazwiska obejmują najbardziej realnych kandydatów na premiera rządu, niezależnie od jakkolwiek rozumianej arytmetyki politycznej. W ramach tego badania zadawaliśmy osobne pytanie o poparcie dla partii politycznych, tu chodziło o opinię na temat konkretnych osób. Autorski dobór elementów kafeterii w pytaniach zamkniętych jest normą. Spośród olbrzymiej liczby możliwości, najczęściej naszych klientów interesuje pewien zakres odpowiedzi, stąd ograniczają kafeterię do tych elementów, które są interesujące z badawczego punktu widzenia lub po prostu są realistyczne. Pytanie się „o wszystko” w badaniu ilościowym zazwyczaj nie przynosi wartościowych wyników, pomagających zrozumieć rzeczywistość społeczną.
Jaki błąd mógł być spowodowany przez zadanie pytania w takiej formie?
O błędzie można by mówić, gdyby forma zadania pytania sugerowała odpowiedź, tak nie było. Chciałbym podkreślić, że dobór elementów kafeterii w pytaniu zamkniętym ma charakter autorski i jakkolwiek można jej skład dyskutować, to nie można określonego doboru nazwać błędem. Tak jak powiedziałem, autor badania ma określone hipotezy i na ich podstawie ma prawo budować kafeterię do pytań. W wielu sytuacjach zadanie pytania w sposób otwarty naraża nas na sytuację wyniku tak rozproszonego, że nie nadającego się do żadnej interpretacji. Wskazania na poszczególnych kandydatów mogłyby być tak mało liczne, że żadna analiza wyników nie byłaby możliwa. Zwróćmy uwagę, że i tak w naszym pytaniu, przy odczytaniu nazwisk potencjalnych kandydatów, aż 27% respondentów wybrało odpowiedź „nie wiem”, co oznacza, że było to pytanie dla nich trudne. Bez pomocy w postaci kafeterii wynik byłby jeszcze mniej czytelny. Nie możemy zapominać, że sondaż polityczny, jak każde badanie, jest pewnym uproszczeniem rzeczywistości i ma być klarownym źródłem informacji w debatach politycznych.
Czy można było przeprowadzić to badanie inaczej i jakie wady miałoby inne podejście?
Wady ma praktycznie każde badanie opinii. Budując narzędzie badawcze, jakim jest kwestionariusz staramy się te wady jedynie minimalizować, ale nie wyeliminujemy ich całkowicie nigdy. Każdy dobór elementów kafeterii w pytaniu zamkniętym jest oparty na pewnych hipotezach i określonym oglądzie rzeczywistości społecznej. Oczywiście proponując inne nazwiska w pytaniu o najlepszego premiera, możliwe, że uzyskalibyśmy inne wyniki, co nie znaczy „bardziej prawdziwe”. Jeśli wokół naszego badania toczy się dyskusja, to ma ona, jak zauważyłem, charakter czysto polityczny. Często zdarzają się sytuacje i doświadczają tego wszystkie instytuty badań opinii, gdy badania są krytykowane, bo komuś nie podobają się ich wyniki. Wydaje się, że tak również stało się w przypadku naszego pytania o najlepszego premiera. Niektórzy publicyści (wydaje się, że w przypadku tego badania konkretnie dwóch) o silnych przekonaniach, ale nieco słabszych kompetencjach socjologicznych, z dużą łatwością rzucają oskarżenia „metodologicznej nierzetelności” lub nawet „manipulacji” tylko na podstawie własnych interpretacji wyników badania. Nie widzę powodu, dlaczego zamiast rzucania inwektywami i krytykowania określonego doboru kafeterii, nie zamówią realizacji badania w oparciu o własną kafeterię, można by porównać wyniki, nawet pospierać się, czyja hipoteza dotycząca rzeczywistości politycznej jest bardziej trafna.”