Informacje ogólne o zamówieniu:
Nazwa Zamawiającego: Telewizja Polska S.A., ul. J.P. Woronicza 17, 00-999 Warszawa, woj. mazowieckie
Data zamieszczenia: 2014-11-26
Miejsce publikacji: TED
Wspólny Słownik Zamówień (CPV): 79.32.00.00
Liczba zamawianych sondaży: 10
Waga ceny w kryteriach oceny oferty: 90%
Link do ogłoszenia o zamówieniu: http://bzp1.portal.uzp.gov.pl/index.php?ogloszenie=show&pozycja=387198&rok=2014-11-25
Link do specyfikacji istotnych warunków zamówienia: http://www.tvp.pl/zamowienia_publiczne/auction_preview.php?id=1409
Oceniany element zamówienia:
Niniejsza Karta Oceny Zamówienia dotyczy dotyczy opisu danych telemetrycznych otrzymywanych z ogólnopolskiej panelowej próby gospodarstw domowych.
Cel badania:
W zamówieniu poprawnie określono zakres danych oraz populację, na którą można uogólnić wyniki analiz. Problemem może natomiast okazać się termin realizacji pomiarów telemetrycznych. Wykonawca otrzymał bardzo niewiele czasu na rozpoczęcie analiz od momenu podpisania umowy. W przypadku, gdy narzędzia i próba potrzebne do pomiarów telemetrycznych będą przygotowywane od zera, dotrzymanie ustalonych przez Zamawiającego terminów może być wyjątkowo trudne.
Kwestionariusz:
Dane o widzach są zbierane przy użyciu urządzeń telemetrycznych, co oznacza, że w badaniu nie wykorzystuje się tradycyjnego kwestionariusza. Mimo to, możliwa jest rejestracja opinii oraz zachowań respondentów. Zamawiający nie zdefiniował jednak precyzyjnie rodzaju zbieranych danych, a jedynie ogólnie opisał analizy jakich oczekuje od Wykonawcy. Utworzył również techniczną grupę doradczą (TAG – Technical Advisory Group), której zadaniem jest uzgadnianie wszelkich zmian w badaniu. Nie gwarantuje to jednak pełnej kontroli nad zbieranymi danymi. W efekcie Zmawiający częściowo pozbawił się możliwości ingerowania w analizy dotyczące zbiorowości widzów telewizyjnych. Częściowym rozwiązaniem tego problemu byłoby zobowiązanie Wykonawcy do przedstawienia pełnej listy pytań oraz danych jakie są zbierane przez Wykonawcę przy okazji rejestrowania oglądalności poszczególnych programów telewizyjnych.
Realizacja:
Zgodnie z Zamówieniem, za realizację badania odpowiedzialny jest Wykonawca. Nie został on zobowiązany do prowadzenia kontroli (telefonicznej lub bezpośrednio przez ankieterów) gospodarstw domowych, która pozwoliłaby określić, czy badanie rzeczywiście przebiega w sposób opisany przez Zamawiającego. Sprawdzenie przynajmniej niewielkiej części gospodarstw domowych uczestniczących w panelu badawczym pozwoliłoby określić, czy dane o próbie, prezentowane przez Wykonawcę, są zgodne z rzeczywistością. Brak wytycznych w tym zakresie może zachęcać mieszkańców gospodarstw domowych do przekazywania nierzetelnych danych na własny temat. Chodzi głównie o sytuacje, w których prowadzony jest pomiar mimo, że nikt nie ogląda telewizji i urządzenie rejestrujące powinno być wyłączone. Problemem może być również wprowadzanie przez uczestników badania cudzych danych (innego mieszkańca gospodarstwa domowego) zamiast swoich. Kontrola w postaci raportów o stanie panelu prezentowanych przez Wykonawcę jest w tym przypadku niewystarczająca. Problemem jest również krótki okres przygotowywania pomiarów. Badanie telemetryczne wymaga opracowania odpowiedniego oprogramowania komputerowego, które umożliwi analizowanie danych, a także dobrania/rekrutacji próby gospodarstw domowych. Wykonawca jest zobowiązany do realizacji tych zadań w czasie dwóch miesięcy. Naszym zdaniem dotrzymanie tego terminu, w przypadku firmy, która budowałaby system telemetrii od podstaw, jest trudne, jeśli w ogóle możliwe. Można więc uznać, że zamówienie faworyzuje jednego wykonawcę, firmę Nielsen Polska, która obecnie jako jedyna na rynku oferuje wyniki z bieżących badań oglądalności telewizji. Stoi to w sprzeczności z prawem zamówień publicznych, które kładzie nacisk przede wszystkim na równość konkurencji. W tej sytuacji przyjęty tryb prawny dla zakup danych telemetrycznych (badanie telemetryczne) wydaje się niewłaściwy. Spełnieni warunku równej konkurencji wymagałoby od Zamawiającego ogłoszenia przetargu ze znacznie większym wyprzedzeniem tak, aby do jego realizacji mogło przygotować się więcej firm. Ostatecznie uważamy, że w zaistniałej sytuacji Zamawiający powinien zdecydować się na jedno z dwóch rozwiązań: 1) wybrać inny tryb prawny dla zakupu danych telemetrycznych, ponieważ w Polsce istnieje tylko jeden ich dostawca (nie ma konkurencji) 2) stworzyć warunki dla konkurencji poprzez wcześniejsze ogłoszenie zamówienia.
Poziom realizacji próby:
W zamówieniu nie określono z jakiej puli gospodarstw domowych powinna zostać dobrana próba założycielska (Establishment Survey). Oznacza to, że Zamawiający nie otrzyma informacji o tym jakie były cechy gospodarstw domowcyh, które odmówiły wzięcia udziału w badaniu. Brak tego rodzaju danych uniemożliwia sprawdzenie, czy gospodarstwa domowe dobrane do panelu nie różnią się w sposób systematyczny od gospodarstw domowych badanych telemetrycznie. Nie da się więc wykluczyć, że gospodarstwo domowe w próbie charakteryzują się innymi zachowaniami dotyczącymi oglądania telewizji niż ogół gospodarstw domowych w kraju.
Dobór próby:
Za dobór próby odpowiada Wykonawca. Zamawiający nie określił wymagań odnośnie metody doboru próby. Brak kontroli w tym zakresie może doprowadzić do uzyskania niereprezentatywnych wyników lub konieczności przyjęcia pozastatystycznych założeń przy próbie uogólnienia wyników badania na całą populację. W zamówieniu bardzo ogólnie określono cech ze względu na które mają zostać wyznaczone kwoty. W przypadku tego rodzaju prób, kwoty są jedynym gwarantem ich reprezentatywności. Jeśli zamawiający nie zdefiniował cech respondentów ze względu na które mają zostać utworzone kwoty to Wykonawca może starać się je dobrać w taki sposób, aby przede wszystkim minimalizować swoje koszty. Może się to niekorzystnie odbić na poprawności metodologicznej badania.
Operat:
Zamawiający nie określił z jakiego operatu ma zostać dobrana próba do badania. Nie określono również wymagań jakie musi spełniać operat, by mógł zostać wykorzystany w badaniu. Niewłaściwie wybrany lub skonstruowany operat doboru próby może być obciążony błędem pokrycia niekorzystnie wpływającym na rzetelność uzyskanych wyników.
