Widmo badawczego kryzysu

W artykule „Widmo kryzysu krąży nad Europą” Pawła Szaniawskiego, który ukazał się w Newsweeku[1] zostały przytoczone badania na temat problemów, które najbardziej niepokoją ludzi na świecie (Index of world’s most pressing problem) wykonane przez WIN-Gallup International (w Polsce badanie przeprowadziła firma Mareco Polska). Treść artykułu w całości opiera się na opublikowanym przez Gallup International raporcie, w którym są przedstawione szczegóły dotyczące badania[2]. W tym artykule skupimy się na metodologii przeprowadzonego badania, odwołując się do opublikowanego w sieci raportu, starając się zwrócić uwagę na pewne nieścisłości i niedomówienia.

Na początku krótki zarys badania: badanie zostało przeprowadzone w 56 państwach na całym świecie, trwało od sierpnia 2012 roku do lutego 2013 roku, łącznie udział wzięło 57,228 osób, do zbierania danych wykorzystano trzy metody – wywiady indywidualne, telefoniczne oraz internetowe a respondentom zadano prawdopodobnie tylko jedno pytanie „co twoim zdaniem jest najważniejszym problemem, przed którym stoi dzisiaj świat?”[3]. Analiza wyników pozwoliła badaczom wyłonić trzy największe grupy obaw, które wskazywali respondenci: obawy ekonomiczne, obawy dotyczące niepokojów społecznych oraz obawy związane z szeroko pojętym rozwojem.

Niestety raport pozostawia wiele budzących niepokój kwestii bez wyjaśnienia. Pierwszą sprawą jest reprezentatywność próby. Raport zawiera sformułowanie, iż wszystkie próby w badanych państwach są reprezentatywne (przedział ufności wynosi 95%, przy ±3-5% błędzie), mimo, iż nie opisano metody doboru respondentów. Co najważniejsze, w części państw badanie wykonano przez internet, a więc przynajmniej w tej części próba miała charakter kwotowy, a nie losowy (mimo, tego autorzy raportu nie zwracają na to uwagi)[4]. Następną, niepokojącą kwestią jest dobór państw i regionów do badania. Klucz, którym posłużyli się autorzy do doboru krajów jest nieznany, również niewyjaśniona pozostaje sprawa, dlaczego np., w Iraku lub Malezji zostały przebadane tylko tereny miejskie, co może skutkować błędem pokrycia[5]. Co więcej, nie wiemy ostatecznie jak dokładnie zostało zadane pytanie – raz jest napisane, że zostało zadane pytanie otwarte, do którego następnie odpowiedzi były kodowane, a gdzieindziej można zobaczyć kafeterię odczytywaną respondentom w badaniu. Co więcej, wydaje się sporym nadużyciem pisanie o „średniej światowej” dla zadanego pytania, z prostego powodu: łatwo w ten sposób wprowadzić czytelnika w błąd, że badaniem zostały objęte wszystkie kraje świata, co nie jest prawdą. Również autor artykułu, Paweł Szaniawski, wpadł w tę pułapkę, czemu daje wyraz pisząc o tym we wspominanym artykule w Newsweeku.

Podsumowując, nic dziwnego, że artykuł opublikowany w Newsweeku zawiera wiele niepokojących informacji. Autor korzystający z raportu, tylko przepisał niepełne informacje, które ten raport zawiera. Przykre jest też to, że publikacja z badania, dużego i znanego instytutu badawczego nie spełnia nawet podstawowych wymagań metodologicznych, które powinny spełniać nawet artykuły prasowe, będące przecież prostszą formą komunikacji z czytelnikiem. Wymagania te, są naszym zdaniem podstawą rzetelnego informowania czytelników o możliwych błędach ciążących na badaniu.