Informacje ogólne o zamówieniu:
Nazwa Zamawiającego: Polska Agencja Rozwoju Przedsiębiorczości , Pańska 81/83, 00-834 Warszawa, woj. mazowieckie
Data zamieszczenia: 20.08.2014
Miejsce publikacji: BZP
Wspólny Słownik Zamówień (CPV): 79.30.00.00-7.
Liczba zamawianych sondaży: 3
Waga ceny w kryteriach oceny oferty: 30%
Link do ogłoszenia o zamówieniu: http://bzp1.portal.uzp.gov.pl/index.php?ogloszenie=show&pozycja=179333&rok=2014-08-20
Link do specyfikacji istotnych warunków zamówienia: http://bip.parp.gov.pl/index/more/42302
Oceniany element zamówienia:
Niniejsza karta oceny zamówienia dotyczy:
- Badania ilościowego (CAPI) realizowanego na grupie przedsiębiorstw:
- liderów design-u;
- mających doświadczenie w zakresie design-u;
- które mają potencjał w obszarze design-u ;
- Badania ilościowego (CAWI) realizowane na grupie projektantów i design menedżerów;
- Badania ilościowego (CAWI) przedstawicieli instytucji otoczenia biznesu dedykowanych design-owi.
Cel badania:
W zamówieniu poprawnie określono zakres badania, harmonogram oraz populację, na którą uogólniane mają być wyniki. Zmawiający zdefiniował również poprawnie cel badania.
Kwestionariusz:
Kwestionariusz badania ma zostać przygotowany przez Wykonawcę. Zamawiający nie przedstawił wymagań metodologicznych w tym zakresie, a jedynie wymienił ogólne zagadnienia, które muszą zostać poruszone w badaniu (Załącznik nr 1 do SIWZ, pkt. 2.2.2, s.4). Nałożono natomiast na Wykonawcę obowiązek konsultowania prac związanych z tworzeniem kwestionariusza i uzyskania ich zatwierdzenia przed przystąpieniem do realizacji wywiadów w terenie. W ten sposób przynajmniej częściowo Zamawiający ma kontrolę nad ostateczną postacią narzędzia badawczego. Niemniej jednak brak dokładnych wytycznych – ile pytań ogółem powinien zawierać kwestionariusz, ile powinno być pytań otwartych, czy pytania mają być rotowane, ogólne reguły przechodzenia między pytaniami, itp. – może utrudnić porozumienie między stronami zamówienia i w konsekwencji wydłużyć czas przygotowywania narzędzia badawczego. Zamawiający słusznie zobowiązał Wykonawców do przeprowadzenia pilotażu kwestionariusza, co umożliwi przetestowanie poprawności ankiety, a także pozwoli precyzyjnie oszacować czas realizacji pojedynczego wywiadu. Jest to istotne ponieważ w dokumentacji przetargowej nie określono ani oczekiwanego czasu trwania kwestionariusza, ani oczekiwanej liczby zawartych w nim pytań. Czas trwania/liczba pytań kwestionariusza są istotne przy wycenie kosztów badania i pozwalają określić stopień złożoności projektu. Brak tego typu informacji może skłaniać oferentów do podnoszenia cen w celu zabezpieczenia się przed nieznanymi dodatkowymi trudnościami/kosztami realizacji badania, wynikającymi ze struktury ankiety.
Realizacja:
Zgodnie z zamówieniem, za realizację badania odpowiedzialny jest Wykonawca. Musi on posiadać certyfikat PKJPA (Program Kontroli Jakości Pracy Ankieterów). Gwarantuje to realizację badania wg branżowych standardów metodologicznych. W zamówieniu przewidziano kontrolę pracy ankieterów. Eliminuje to występujący w większości badań sondażowych problem nieuczciwych ankieterów, mogący prowadzić do niskiej jakości badań. W zamówieniu poprawnie określono technikę zbierania danych (CAPI/CAWI). Dzięki temu jakość badania będzie zgodna w tym zakresie z wymogami Zamawiającego. Wykonawca został zobowiązany do przeprowadzenia szkolenia dla ankieterów. Dzięki temu będą oni lepiej przygotowani do realizacji badania, a to z kolei może się przyczynić do poprawy jakości całego pomiaru.
Poziom realizacji próby:
W zamówieniu określono wymagania odnośnie poziomu realizacji próby. Nie sprecyzowano jednak definicji tego parametru. Opis sposobu jego oceny przy wyborze najkorzystniejszej oferty sugeruje, że w istocie chodzi o łączną liczbę zrealizowanych wywiadów. Zgodnie z klasyczną definicją poziom realizacji próby to stosunek liczby zrealizowanych wywiadów do liczby zaplanowanych. Mimo to przyjęte w zamówieniu kryterium oceny ofert jest prawidłowe. Zakłada ono przyznanie większej liczby punktów za większą liczebność próby. Dążenie Zamawiającego do zwiększenia liczebności próby jest jak najbardziej słuszne. Niestety, przynajmniej dla badania ilościowego (CAPI) realizowanego na grupie przedsiębiorstw, nie można stwierdzić, czy uzasadnione i możliwe jest wyznaczenie poziomu realizacji próby wg. klasycznej definicji. Powodem jest brak określenia metody doboru prób. Nie wiadomo więc, czy warto i czy da się określić stosunek między planowaną i zrealizowaną liczbą wywiadów. Należy jednak pamiętać, że poziom realizacji próby (odsetek zrealizowanych wywiadów) jest bardzo obiektywnym i łatwo mierzalnym kryterium. O ile jest to uzasadnione, a więc gdy próba ma charakter losowy lub badanie obejmuje całą populację, warto z niego korzystać. Zamawiający poprawnie określił wymaganą liczbę prób kontaktu z respondentem. Dzięki temu, otrzyma badanie o oczekiwanej pod tym względem jakości. Wykonawca badania jest zobowiązany do przesłania listu zapowiedniego do respondentów. Takie działanie pozytywnie wpływa na poziom realizacji próby.
Dobór próby:
Za dobór próby odpowiada Wykonawca. Zamawiający poprawnie określił wymagania odnośnie metody doboru próby dla jednej kategorii respondentów – metoda śnieżnej kuli dla grupy projektantów i design menedżerów. W pozostałych przypadkach nie podano żadnych wytycznych. Dla zbiorowości przedsiębiorstw określono dodatkowo podział na 3 kategorie (warstwy). Podano również wymagania odnośnie zbiorowości projektantów i design menedżerów – podział na 5 kategorii. Pozwoli to uzyskać próby, na podstawie których będzie można przeprowadzić analizę dla całej zbiorowości, jak również jej podkategorii. W zamówieniu prawidłowo określono wymaganą liczebność prób.
Operat:
Wykonawca został zobowiązany do przygotowania trzech operatów doboru próby, po jednym dla każdej badanej grupy: 1) bazy przedsiębiorstw (do badania ilościowego realizowanego techniką CAPI/ mix mode); 2) bazy projektantów i design menedżerów, listy podmiotów otoczenia biznesu dedykowanych design-owi oraz listy portali branżowych (do badania ilościowego realizowanego techniką CAWI); 3) listy instytucji otoczenia biznesu dedykowanych design-owi wraz ze wskazaniem szefów reprezentujących instytucje, które zostaną zaproszone do badania. Każdy ze zbiorów powstanie od zera, co jest zrozumiałe w przypadku badań o charakterze eksploracyjnym. Ma to jednak pewne konsekwencje. Stworzenie dobrego operatu doboru próby (bez powtórzeń, obejmującego cała zbiorowość i zawierającego niezbędne dane kontaktowe o wszystkich jednostkach populacji) może być bardzo czasochłonne. W skrajnych przypadkach zdarza się, że trwa niemal tyle ile sama realizacja badania w terenie. Wprawdzie Wykonawca ma czas na przekazanie raportu końcowego do 9 grudnia, a więc około dwóch miesięcy, jednak biorąc pod uwagę konieczność przygotowania operatu doboru próby może się okazać, że jest to okres za krótki.
