W poniedziałek, 20 stycznia br. na stronie internetowej newsweek.pl został opublikowany artykuł opisujący wyniki badania poparcia dla partii politycznych przeprowadzonego przez firmę Estymator. Nota metodologiczna załączona do artykułu wskazywała, że: „Badanie przeprowadzono 15 i 16 stycznia 2014 na ogólnopolskiej, reprezentatywnej próbie osób dorosłych o liczebności 1200 osób – metodą wywiadów telefonicznych CATI (800 wywiadów) oraz metodą wywiadów ankieterskich w miejscach publicznych (400 wywiadów). W prezentowanych wynikach uwzględniono wyłącznie osoby, które zadeklarowały na jaki komitet wyborczy / jakiego kandydata na prezydenta będą głosować”. Było to kolejne badanie, opisane jako reprezentatywne, a przeprowadzone przez firmę Estymator na połączonej próbie wywiadów zebranych techniką CATI oraz wywiadów realizowanych w miejscach publicznych.
O badaniu reprezentatywnym można mówić, gdy wszystkich respondentów dobrano do niego w sposób losowy, a prawdopodobieństwo wylosowania każdej jednostki z populacji było znane. W przypadku losowego doboru próby założenie to jest z definicji spełnione. Brak błędów systematycznych gwarantuje uzyskanie wiarygodnych oszacowań. Sytuacja komplikuje się w przypadku doboru kwotowego. Próba taka jest reprezentatywna, jeśli rozkłady wybranych przez badacza zmiennych (cech respondentów) odpowiadają rozkładom tych cech w populacji oraz spełnione jest założenie, że poza cechami respondentów ze względu na które nałożono kwoty, inne cechy nie mają wpływu na odpowiedzi respondentów w badanej tematyce lub respondenci są dobrani w sposób losowy ze względu na te cechy, które mogą wpływać na odpowiedzi w badanej tematyce, a nie ustalono ze względu na nie kwot. Wiarygodność uzasadnienia, że założenie to jest spełnione w badaniach zależy od wielu czynników i zdarza się, że budzi kontrowersje wśród badaczy. W przypadku sondażu firmy Estymator, wątpliwości dotyczące reprezentatywności pojawiają się z powodu realizacji badania w miejscach publicznych, podczas której spełnienie takiego założenia jest bardzo trudne lub wręcz niemożliwe.
Poważne wątpliwości dotyczące reprezentatywności opisywanego badania budzi również łączenie wyników zebranych w trakcie badania CATI i badania w miejscach publicznych. Metodologia badań łączących dane zebrane za pomocą różnych technik nie jest dobrze zbadana i opisana w literaturze naukowej, a naukowcy i badacze zwracają uwagę na poważne problemy z nią związane. Połączenie wyników zebranych dwiema technikami, w przypadku badania jednej populacji może powodować zaburzenie reprezentatywności. Nawet stosowanie metody Mix-Mode w badaniu powinno być dobrze uzasadnione, ze wskazaniem realnej korzyści jaką niesie. Nie można za taką korzyść uznać uśrednienia błędów powodowanych przez różne techniki zbierania danych, gdyż taka średnia nie musi poprawiać jakości oszacowania – błędy systematyczne mogą się powiększać, a nie znosić.
W opinii zespołu Na Straży Sondaży reprezentatywność opisanego badania budzi poważne wątpliwości. Zalecamy ostrożność w interpretowaniu i komentowaniu jego wyników.
Zespół Na Straży Sondaży
Opinia dr Henryka Banaszaka w sprawie badania firmy Estymator
Odpowiedź dr Jacka Chołoniewskiego, właściciela firmy Estymator