Ogłoszenia o zamówieniu:
Liczba zamówień: 11
Liczba zamówionych sondaży: 15
Średnia waga ceny w kryteriach oceny ofert: 81%
Cel badania:
Na ogół w zamówieniach cel badania był poprawnie opisany. W dwóch badaniach wystąpił problem z określeniem badanej populacji – w jednym nie został określony wiek badanych, w drugim specyfinczna grupa badanych dokonywała właściwie autorekrutacji, przez co trudno byłoby uogólnić wyniki badania na jakąkolwiek populację. Zamawiający poprawnie definiowali zakres i termin realizacji badania.
Kwestionariusz:
W około połowie przypadków za przygotowanie kwestionariusza odpowiadał Zamawiający. W sytuacji, w której to Wykonawca był odpowiedzialny za stworzenie narzędzia badawczego, Zamawiający tylko dwa razy poprawnie opisali wymagania odnośnie kwestionariusza. W aż sześciu przypadkach wymagania wobec kwestionariusza w ogóle nie znalazły się w opisie przedmiotu zamówienia, jednak gdy już się znalazły, to były opisywane poprawnie. W przypadku czterech przetargów, Zamawiający nie przewidział konsultacji kwestionariusza, mimo iż za jego przygotowanie odpowiadał Wykonawca. Przeprowadzenie konstultacji niweluje ryzyko, że kwestionariusz nie będzie pozwalał na uzyskanie interesującej Zamawiającego wiedzy. Jest to szczególnie istotne, gdy Zamawiający nie wymaga ani konsultacji kwestionariusza, ani nie określa poprawnych wymagań względem niego – taka sytuacja miała miejsce w czterech przypadkach. Sytuacja przedstawia się dużo gorzej, jeżeli chodzi o testowanie gotowego już narzędzia badawczego. Mniej więcej w co drugim zamówieniu wymagano przeprowadzenia pilotażu narzędzia badawczego. Przeprowadzenie pilotażu pozwala na zmniejszenie ryzyka błędnego zrozumienia pytań przez ankietowanych, a także pomaga wychwycić inne błędy popełnione w fazie projektowania kwestionariusza. Nie zawsze Zamawiający określali również liczbę pytań lub oczekiwany czas trwania kwestionariusza, co może być istotne dla oferentów przy wycenie Zamówienia.
Realizacja:
W każdym z analizowanych zamówień za realizację badania odpowiedzialny był Wykonawca. W jednym z Zamówień nie została określona technika zbierania danych. Jest to bardzo ważne, gdyż wybór odpowiedniej techniki realizacji badania jest kluczowy dla jakości uzyskanych wyników, a także wpływa na koszty przeprowadzenia badania. W trzech zamówieniach wymagano od Wykonawców posiadania branżowego certyfikatu potwierdzającego wysoki standard realizacji badań – w każdym przypadku był to PKJPA. Szkolenia ankieterów zostały zlecone w ponad połowie zamówień, natomiast kontrola ich pracy nie została przewidziana jedynie w trzech z analizowanych zamówień. Odpowiednia kontrola pracy dobrze wyszkolonych ankieterów jest jednym z kluczowych czynników przekładających się na wiarygodność uzyskanych wyników. Ważne jest, aby wszyscy Zamawiający zwracali uwagę na jakość pracy ankieterów przy pisaniu dokumentacji przetargowej.
Poziom realizacji próby:
Poziom realizacji próby określono w 3 z 11 zamówieniach. Niski poziom realizacji próby należy do najpoważniejszych problemów współczesnych badań sondażowych, a jego występowanie może prowadzić do znacznego skrzywienia wyników badania. Niestety wiedza na temat istotności tego problemu jest nadal niewielka. W pięciu przypadkach Zamawiający wymagał od Wykonawców przesyłania listów zapowiednich do respondentów, trzykrotnie określił ile razy ankieter ma podjąć próbę kontaktu z respondentem, jeśli za pierwszym razem nie uda się przeprowadzić badania. Niepodejmowanie ponownych prób kontaktu z respondentem w przypadku jego niedostępności prowadzi do obniżenia poziomu realizacji próby, co w sposób bezpośredni przekłada się na obniżenie precyzji pomiaru. Choć poziom realizacji próby w istotny sposób wpływa na jakość całego badania, to niestety tylko niewielka część Zamawiających zdaje sobie z tego sprawę.
Dobór próby:
W przypadku, gdy to Zamawiający odpowiadali za dostarczenie sposobu doboru próby, zwykle metodologia była opisywana dobrze. W większości z tych zamówień poprawnie definiowano szczegółowe kwestie takie jak typ doboru próby, warstwowanie prób czy nawet alokację. Najrzadziej, bo jedynie w dwóch przypadkach określano sposób wiązkowania próby. W przypadku doboru kwotowego, także poprawnie wyznaczano cechy ze względu na które próba miała odzwierciedlać rozkład populacyjny. Więcej problemów sprawiło Zamawiającym określenie oczekiwanego sposobu doboru próby w przypadku, gdy to Wykonawcy mieli za zadanie dobrać próbę do badania. Właściwie w żadnym z nich oczekiwania Zamawiającego nie zostały poprawnie przedstawione. Jest to duży problem, ponieważ przy braku takich wytycznych Wykonawcy mogą stosować mniej kosztowne metody doboru, obniżając w ten sposób jakość badania. W jednym przypadku Zamawiający nie określił liczebnośći próby.
Operat:
We wszystkich zamówieniach, w których wymagano zastosowania losowego doboru próby, Zamawiający poprawnie określił operat badania. Jest to ważne, ponieważ źle wybrany, bądź niekompletny operat może doprowadzić do poważnego błędu pokrycia, obniżającego wartość przeprowadzonych badań.
