Ogłoszenia o zamówieniu:
Liczba zamówień: 6
Liczba zamówionych sondaży:9
Średnia waga ceny w kryteriach oceny ofert: 79.2%
Cel badania:
Na ogół w zamówieniach cel badania był poprawnie opisany. W dwóch badaniach wystąpił problem z poprawnym wyznaczeniem czasu realizacji. W jednym z zamówień Zamawiający wymagał wykonania całego zadania w ciągu 14 dni, co jest czasem zdecydowanie zbyt krótkim, jak na realizację badania ankietowego. W drugim zamówieniu Zamawiający wyznaczył bardzo krótki czas dzielący ogłoszenie wyników przetargu i rozpoczęcie realizacji badania. Ze względu na specyfikę tego badania (badanie telemetryczne) czas na przygotowanie i wdrożenie systemu pomiarowego powinien być dłuższy, niż zostało to określone w Specyfikacji Istotnych Warunków Zamówienia.
Kwestionariusz:
Jedynie w jednym zamówieniu za stworzenie kwestionariusza odpowiedzialny był Wykonawca, w pozostałych przypadkach to Zamawiający dostarczali gotowe narzędzie badawcze. Niestety, w zamówieniu tym zabrakło opisu wymagań odnośnie kwestionariusza. W Specyfikacji Istotnych Warunków Zamówienia nie znalazł się również wymóg uzyskania akceptacji ostatecznej wersji narzędzia badawczego przez Zamawiającego. Jest to poważny błąd, ponieważ kwestionariusz stworzony przez Wykonawcę może nie odpowiadać koncepcji badania wyznaczonej przez Zamawiającego. W żadnym z zamówień nie przewidziano pilotażu gotowego narzędzia badawczego. O ile w przypadku dostarczania kwestionariusza przez Zamawiającego można mieć nadzieję, że dostarczane przez niego narzędzie badawcze zostało już sprawdzone pod kątem potencjalnych błędów (na przykład przez jego zastosowanie w innym badaniu), to nieprzeprowadzenie testów nowego, stworzonego przez Wykonawcę kwestionariusza jest poważnym błędem, który może się przyczynić do skrzywienia pomiaru. W zamówieniu, w którym to Wykonawca był odpowiedzialny za stworzenie kwestionariusza nie podano również wymagań odnośnie orientacyjnej liczby pytań, które powinny się znaleźć w gotowym narzędziu badawczym ani orientacyjnego czasu trwania pojedynczego wywiadu. Przynajmniej jedna z tych informacji pozwoliłaby lepiej oszacować koszty przeprowadzenia badania potencjalnym Wykonawcom. W przypadku pozostałych zamówień, przynajmniej jedna z tych informacji znalazła się w dokumentacji przetargu.
Realizacja:
W każdym z analizowanych zamówień za realizację badania odpowiedzialny był Wykonawca. W styczniu nie pojawiły się żadne problemy związane z wyborem odpowiedniej techniki zbierania danych – we wszystkich zamówieniach została ona opisana w sposób poprawny. W czterech zamówieniach wymagano od Wykonawców posiadania branżowego certyfikatu potwierdzającego wysoki standard pracy badawczej (w trzech przypadkach był to certyfikat PKJPA), bądź też zobowiązano Wykonawcę do przestrzegania międzynarodowego kodeksu badawczego (dotyczyło to badania telemetrycznego, gdzie Wykonawca został zobowiązany do przestrzegania postanowień kodeksu Global Guidelines of Television Audience Measurement). Jedynie w dwóch zleceniach nie przewidziano przeprowadzenia szkolenia ankieterów przed rozpoczęciem badania. Kontrola pracy ankieterów nie została przewidziana w przypadku jednego zamówienia. Odpowiednia kontrola pracy dobrze wyszkolonych ankieterów jest jednym z kluczowych czynników przekładających się na wiarygodność uzyskanych wyników. Ważne jest, aby wszyscy Zamawiający zwracali uwagę na jakość pracy ankieterów przy pisaniu dokumentacji przetargowej.
Poziom realizacji próby:
Poziom realizacji próby określono w jedynie w dwóch zamówieniach. Niski poziom realizacji próby należy do najpoważniejszych problemów współczesnych badań sondażowych, a jego występowanie może prowadzić do znacznego skrzywienia wyników badania. Niestety wiedza na temat istotności tego problemu jest nadal niewielka. W żadnym z zamówień, które zakładały realizację badania F2F nie został zawarty wymóg wysłania listu zapowiedniego. Liczba ponownych prób kontaktu z respondentem w przypadku jego niedostępności została określona tylko w jednym takim zamówieniu. Niepodejmowanie ponownych prób kontaktu z respondentem w przypadku jego niedostępności prowadzi do obniżenia poziomu realizacji próby, co w sposób bezpośredni przekłada się na obniżenie precyzji pomiaru. Choć poziom realizacji próby w istotny sposób wpływa na jakość całego badania, to niestety tylko niewielka część Zamawiających zdaje sobie z tego sprawę.
Dobór próby:
W przypadku, gdy to Zamawiający odpowiadali za dostarczenie sposobu doboru próby, zwykle metodologia była opisywana dobrze. W większości z tych zamówień poprawnie definiowano szczegółowe kwestie takie jak typ doboru próby, warstwowanie prób czy nawet alokację. W przypadku doboru kwotowego w jednym zamówieniu zabrakło dokładnej definicji zmiennych, ze względu na które kwotowanie powinno być wykonane. Więcej problemów sprawiło Zamawiającym określenie oczekiwanego sposobu doboru próby w przypadku, gdy to Wykonawcy mieli za zadanie dobrać próbę do badania. Właściwie w żadnym z nich oczekiwania Zamawiającego nie zostały poprawnie przedstawione. Jest to duży problem, ponieważ przy braku takich wytycznych Wykonawcy mogą stosować mniej kosztowne metody doboru, obniżając w ten sposób jakość badania. W jednym przypadku Zamawiający nie określił liczebnośći próby.
Operat:
W przypadku jedynie jednego zamówienia zakładającego losowy dobór respondentów, Zamawiający określił operat, który powinien zostać użyty przy doborze próby badawczej. źle wybrany, bądź niekompletny operat może doprowadzić do poważnego błędu pokrycia, obniżającego wartość przeprowadzonych badań.
Ogłoszenia o udzieleniu zamówienia:
Liczba rozstrzygniętych przetargów: 5
Liczba zamówionych sondaży: 8
Wartość rozstrzygniętych przetargów: 1 749 277,60 zł
Średnia cena jednego sondażu: 218 659,70 zł
Najwyższe udzielone zamówienie:
Nazwa: Warszawa: Zakup danych telemetrycznych na okres od 9 lutego do 8 marca 2015 roku
Zamawiający: Telewizja Polska S.A
Wykonawca: Nielsen Audience Measurement AGB Nielsen Media Research Sp. z o.o
Cena: 799 500 zł
