Kryteria opracowane przez Zespół Na Straży Sondaży we współpracy z ekspertami z dziedziny metodologii badań ilościowych. Zgodnie z tymi zasadami badany jest każdy przetarg dotyczący badań sondażowych.
W każdym zamówieniu sprawdzamy czy zostały w nim poprawnie zdefiniowane wymagania odnośnie 6 elementów badania:
Cel badania – oczywiste wydaje się, że bez poprawnego zdefiniowania celu badania, jego realizacja może nie przynieść oczekiwanych rezultatów. W tym punkcie szczególną uwagę zwracamy na to, czy poprawnie określono 1) populację, na którą wyniki badania mają zostać uogólnione, 2) zakres badania, czyli tematykę i kwestie, jakie mają zostać poruszone w trakcie badania, 3) termin realizacji badania. Są to podstawowe informacje o badaniu, będące punktem wyjścia do podejmowania kolejnych rozważań: bez wiedzy o populacji nie można mówić o operacie i doborze próby, określenie pytań badawczych, a więc zakresu badania pozwala na stworzenie kwestionariusza i jego ocenę pod względem adekwatności. Termin realizacji badania powinien być realny i na jego podstawie wykonawca może decydować o udziale lub rezygnacji z udziału w przetargu.
Kwestionariusz – dobrej jakości badanie wymaga poprawnego kwestionariusza. Problemy z kwestionariuszem wykorzystanym w badaniu mogą doprowadzić do niepoprawnych wyników. Przy ocenie zamówień pod względem poprawności kwestionariusza zwracamy uwagę na to, czy 1) zamawiający określił wymagania metodologiczne odnośnie kwestionariusza, 2) wykonawca jest zobowiązany do konsultacji kwestionariusza z zamawiającym, 3) przewidziany jest pilotaż kwestionariusza, 4) zamawiający określił czas trwania wywiadu lub liczbę pytań w kwestionariuszu. W przypadku braku wymagań odnośnie budowy kwestionariusza (poprawnego metodologicznie) i/lub braku konsultacji kwestionariusza z zamawiającym, wykorzystane narzędzie, będące podstawą zbierania danych, może daleko odbiegać od oczekiwań zamawiającego i uniemożliwić odpowiedzenie na pytania badawcze. Pilotaż służy określeniu, czy język kwestionariusza jest dostosowany do grupy badanej i respondenci dobrze rozumieją pytania w nim zawarte. Określenie czasu trwania wywiadu lub liczby pytań kwestionariusza jest ważne dla poprawnej wyceny badania.
Realizacja badania – słaba realizacji badania może wpływać na błąd pomiaru oraz poziom realizacji próby, a w związku z tym prowadzić do niskiej jakości uzyskanych wyników. Wobec tego monitorujemy, czy zamawiający określił 1) technikę zbierania danych, 2) konieczność przeprowadzenia szkoleń ankieterów, 3) wymagania odnośnie posiadania certyfikatu przez wykonawcę badania. Technika zbierania danych w istotny sposób wpływa zarówno na poziom realizacji próby, jak i jakość dostępnych operatów oraz koszt badania. Przeprowadzenie szkolenia ankieterów z reguły prowadzi do lepszej realizacji wywiadów, co ostatecznie podnosi jakość badania. Wymagane certyfikaty gwarantują standardy realizacji badań.
Poziom realizacji próby – im wyższy poziom realizacji próby tym większa dokładność i mniejsze obciążenie wyników badania. W związku z tym, monitorujemy czy w zamówieniu określono 1) liczbę prób kontaktu z respondentem, 2) konieczność wysłania listu zapowiedniego do respondentów, 3) oczekiwany poziom realizacji próby, 4) rozkład poziomu realizacji próby wśród różnych grup respondentów. Pierwsze dwa kryteria sprzyjają zwiększaniu poziomu realizacji próby i zapobiegają skrzywieniu wyników, ale podnoszą też zazwyczaj cenę realizacji badania. Dlatego istotne jest wyważenie oczekiwanego (lub minimalnego) poziomu realizacji do kosztów, jakie zamawiający jest gotowy ponieść. Nieokreślenie rozkładu poziomu realizacji próby wśród poszczególnych grup badanych może doprowadzić do poważnego skrzywienia wyników badania.
Dobór próby – bardzo ważnym elementem badań sondażowych jest dobór próby. Wpływa on istotnie na dokładność oszacowań wyników. Wśród najważniejszych cech doboru próby oceniamy czy zamawiający określił 1) metodę doboru próby (losowa/kwotowa), 2) typ doboru próby, 3) warstwowanie próby, 4) alokację próby, 5) wiązkowanie próby, 6) liczebność próby, 7) błąd statystyczny, 8) cechy, ze względu na które mają być nałożone kwoty w badaniu. Stosowanie prób kwotowych wpływa na konieczność przyjęcia pewnych założeń poza statystycznych, jest jednak tańsze. W takim doborze ważne jest określenie ze względu na jakie cech zostaną nałożone kwoty – im więcej jest kwot, tym wyższa jakość badania, ale i wyższy jego koszt. Typ doboru próby i alokacja wynikają z celu badania i powinny być zoptymalizowane w stosunku do konkretnej sytuacji (badania reprezentatywnego dla mieszkańców Polski/ukierunkowanego na wybraną grupę itd.). Uzasadnione zastosowanie warstwowania zazwyczaj podnosi dokładność uzyskanych wyników. Podobnie wiązkowanie próby – mniej liczne wiązki wpływają pozytywnie, ale istotnie podnoszą koszty badania (a konkretnie dojazdów do respondentów). Natomiast im większe są wiązki, tym gorsza jakość badania. Z tego względu warto, aby zamawiający określał liczebność wiązek (np. 5-8 osób) zamiast pozostawiać w tej kwestii dowolność firmie realizującej sondaż. Wpływ liczebności próby i oczekiwanego błędy statystycznego na dokładność wyników są znacznie częściej dyskutowane i dzięki temu lepiej znane. Także na naszej stronie internetowej można przeczytać materiały na ten temat.
Operat – od poprawnego doboru operatu zależy wielkość błędu pokrycia. W Kartach Oceny Zamówień zwracamy uwagę, czy 1) określono operat, z którego ma zostać dobrana próba, 2) właściwie określono wymagania dotyczącego tego operatu. W przypadku badania np. uczestników konkretnego programu, operat będący bazą osób objętych programem zwykle bardzo dobrze pokrywa populację. Natomiast badania ogólnopolskie, szczególnie realizowane techniką CAPI lub CAWI wykorzystują mniej dokładne operaty, co obniża jakość uzyskanych wyników. Ponieważ operaty nie są jednakowej jakości, a od pokrycia populacji zależy dokładność wyników, ważne jest zwrócenie uwagi również na ten element.
