Ogłoszenia o zamówieniu:
Liczba zamówień: 10
Liczba zamówionych sondaży: 29
Średnia waga ceny w kryteriach oceny ofert: 78%
Cel badania:
We wszystkich zamówieniach cel badania został poprawnie opisany. W żadnym z przeanalizowanych zamówień nie wystąpiły problemy z poprawnym zdefiniowaniem zakresu badania, wyznaczeniem odpowiedniego terminu realizacji oraz precyzyjnym określeniem badanej populacji.
Kwestionariusz:
W czterech przypadkach kwestionariusz został dostarczony przez Zamawiającego. W sytuacji, w której to Wykonawca był odpowiedzialny za stworzenie narzędzia badawczego, Zamawiający niezbyt dobrze radzili sobie z opisem wymagań odnośnie kwestionariusza. Aż w czterech przypadkach wymagania wobec kwestionariusza w ogóle nie znalazły się w opisie przedmiotu zamówienia. W jednym z przetargów Zamawiający niepoprawnie określił wymagania wobec kwestionariusza, zamieszczając w opisie przedmiotu zamówienia jedynie wykaz celów szczegółowych badania, co nie pozwala na pełną kontrolę nad procesem powstawania narzędzia badawczego. Tylko w przypadku jednego przetargu zamawiający nie przewidział konsultacji kwestionariusza, mimo iż za jego przygotowanie odpowiadał Wykonawca. Przeprowadzenie konstultacji niweluje ryzyko, że kwestionariusz nie będzie pozwalał na uzyskanie interesującej Zamawiającego wiedzy. Sytuacja przedstawia się dużo gorzej, jeżeli chodzi o testowanie gotowego już narzędzia badawczego. Jedynie w jednym przypadku Zamawiający przewidział pilotaż kwestionariusza. Przeprowadzenie pilotażu pozwala na zmniejszenie ryzyka błędnego zrozumienia pytań przez ankietowanych, a także pomaga wychwycić inne błędy popełnione w fazie projektowania kwestionariusza.
Realizacja:
W każdym z analizowanych zamówień za realizację badania odpowiedzialny był Wykonawca. We wszystkich zamówieniach technika zbierania danych została określona w sposób poprawny. Jest to bardzo ważne, gdyż wybór odpowiedniej techniki realizacji badania jest kluczowy dla jakości uzyskanych wyników, a także wpływa na koszty przeprowadzenia badania. W żadnym z czerwcowych zamówień nie wymagano od Wykonawców posiadania branżowego certyfikatu potwierdzającego wysoki standard realizacji badań. Szkolenia ankieterów a także kontrolę ich pracy zlecono jedynie w jednej trzeciej z przeanalizowanych zamówień. Odpowiednia kontrola pracy dobrze wyszkolonych ankieterów jest jednym z kluczowych czynników przekładających się na wiarygodność uzyskanych wyników. Dlatego też, bardzo istotnym jest, aby Zamawiający poświęcali pracy ankieterów więcej uwagi w dokumentacji przetargowej.
Poziom realizacji próby:
Tylko w jednym z badań określono wymagany poziom realizacji próby. Niski poziom realizacji próby należy do najpoważniejszych problemów współczesnych badań sondażowych, a jego występowanie może prowadzić do znacznego skrzywienia wyników badania. Niestety wiedza na temat istotności tego problemu jest nadal niewielka. Należy jednak zaznaczyć, że definiowanie poziomu realizacji próby nie jest konieczne dla wszystkich typów badań. Część Zamawiających wymagała od Wykonawców przesyłania listów zapowiednich do respondentów. Tylko w jednym przypadku Zamawiający określił ile razy ankieter ma podjąć próbę kontaktu z respondentem, jeśli za pierwszym razem nie uda się przeprowadzić badania. Niepodejmowanie ponownych prób kontaktu z respondentem w przypadku jego niedostępności prowadzi do obniżenia poziomu realizacji próby, co w sposób bezpośredni przekłada się na obniżenie precyzji pomiaru. Choć poziom realizacji próby w istotny sposób wpływa na jakość całego badania, to niestety tylko niewielka część Zamawiających zdaje sobie z tego sprawę.
Dobór próby:
W przypadku, gdy to Zamawiający odpowiadali za dostarczenie sposobu doboru próby (było tak w połowie przenalizowanych zamówień), metodologia doboru była opisywana w sposób poprawny. W większości z tych zamówień poprawnie definiowano szczegółowe kwestie takie jak typ doboru próby, warstwowanie prób czy alokację. Więcej problemów sprawiło Zamawiającym nakreślenie oczekiwanego sposobu doboru próby w przypadku, gdy to Wykonawcy mieli za zadanie dobrać próbę do badania. Jedynie w jednym zamówieniu na pięć znalazły się odpowiednie wytyczne dla Wykonawcy. Jest to duży problem, ponieważ przy braku takich wytycznych Wykonawcy mogą stosować mniej pracochłonne metody doboru, obniżając w ten sposób jakość badania. W przypadku dwóch badań Zamawiający nie określił liczebności prób, gdy wydawało się to konieczne.
Operat:
W ponad połowie przypadków Zamawiający określili z jakiego operatu powinna zostać dobrana próba. Rzadko jednak zdarzało się, aby Zamawiający, który kwestię wyboru operatu pozostawił Wykonawcy zdefiniował kryteria, które dostarczony przez Wykonawcę operat powinien spełniać. Zdarzyło się tak jedynie w jednym przypadku. Jest to duży problem, ponieważ źle wybrany, bądź niekompletny operat może doprowadzić do poważnego błędu pokrycia, obniżającego wartość przeprowadzonych badań.
