Ogłoszenia o zamówieniu:
Liczba zamówień: 11
Liczba zamówionych sondaży: 24
Średnia waga ceny w kryteriach oceny ofert: 61%
Cel badania:
Zamawiający nie mieli większych problemów z poprawnym określeniem celu badania. We wszystkich zamówieniach poprawnie określono zakres i termin realizacji badań. W jednym z zamówień populacja została zdefiniowana w sposób niewystarczająco precyzyjny. Warunki inkluzji sformułowane w Specyfikacji Istotnych Warunków Zamówienia tego zamówienia pozwalały na dość szeroką interpretację tego, kto powinien zostać objęty badaniem, pozostawiając Wykonawcy zbyt dużą swobodę w doborze potencjalnych respondentów.
Kwestionariusz:
Jedynie w jednym zamówieniu kwestionariusz badania został dostarczony przez Zamawiającego. W pozostałych przypadkach skonstruowanie narzędzia badawczego leżało po stronie Wykonawców. W większości przetargów ostateczny projekt kwestionariusza musiał zostać zaakceptowany przez Zamawiającego, bądź też był z nim konsultowany podczas jego przygotowywania. Uniemożliwiło to Wykonawcom przedstawienie projektu o niezadowalającej Zamawiającego jakości. Procedura konsultacji kwestionariusza nie została uwzględniona w jednym z analizowanych zamówień. Dużo większy problem stanowił brak wymogu przeprowadzenia przez Wykonawcę pilotażu przygotowanego narzędzia badawczego. Przetestowanie kwestionariusza na rzeczywistych respondentach pozwala na ustalenie, czy ankietowani poprawnie i zgodnie z intencją autorów rozumieją zawarte w nim pytania, a także na zlokalizowanie błędów technicznych i językowych. W jedynie trzech z analizowanych zamówień wymóg przeprowadzenia pilotażu znalazł się w Specyfikacji Istotnych Warunków Zamówienia. Zamawiający rzadko zamieszczali również orientacyjną liczbę pytań zawartych w kwestionariuszu oraz przewidywany czas trwania jednego wywiadu. Informacje te pozwalają potencjalnym Wykonawcom na bardziej precyzyjne określenie kosztów badania, a także gwarantują, że Wykonawcy będą wyceniać badanie tej samej wielkości. Informacje o oczekiwanej liczbie pytań, bądź przewidywanym czasie trwania wywiadu znalazły się w pięciu zamówieniach.
Realizacja:
W każdym z analizowanych zamówień za realizację badania odpowiedzialny był Wykonawca. Tylko w jednym zamówieniu nie została określona technika zbierania danych. Należy jednak zwrócić na to uwagę, gdyż badania realizowane różnymi technikami mogą znacznie różnić się jakością i ceną. W przypadku dwóch zamówień Zamawiający wymagał od oferentów posiadania certyfikatu świadczącego o pomyślnym przejściu audytu PKJPA (Programu Kontroli Jakości Pracy Ankieterów). Posiadanie przez Wykonawcę takiego certyfikatu gwarantuje, że praca sieci ankieterskiej będzie zorganizowana zgodnie z branżowymi standardami jakości. W przypadku siedmiu przetargów Zamawiający żądał od oferentów przeprowadzenia kontroli pracy ankieterów zgodnie z przedstawioną w zamówieniu metodą, bądź też wymagał od Wykonawców przedstawienia proponowanej metody kontroli ich pracy.
Poziom realizacji próby:
Jedynie w jednym zamówieniu informacja o wymaganym poziomie realizacji próby znalazła się w Specyfikacji Istotnych Warunków Zamówienia. Jest to poważny problem, ponieważ niski poziom realizacji próby bardzo znacząco wpływa na zmniejszenie precyzji pomiaru w badaniu. Brak kontroli w zakresie realizacji próby może również doprowadzić do systematycznego skrzywienia wyników badania. Niestety wiedza na temat istotności tego problemu wśród podmiotów zlecających badania sondażowe jest nadal niewielka. W dwóch zamówieniach znalazł się wymóg wielokrotnych prób kontaktu z respondentem w przypadku jego niedostępności. W tych samych dwóch zamówieniach umieszczono również wymóg wysłania listów zapowiednich. Świadczy to o tym, że Zamawiający, którzy zdają sobie sprawę z problemu jednostek niedostępnych w badaniach społecznych zazwyczaj poprawnie określają wymagania dotyczące ich realizacji.
Dobór próby:
Jedynie w jednym zamówieniu Zamawiający nie opisał metody doboru próby, bądź też nie zamieścił wymogu przedstawienia proponowanej metody przez oferentów. W jednym z Zamówień podane informacje o sposobie alokacji próby były niewystarczająco precyzyjne. W siedmiu z rozpatrywanych zamówień dobór próby miał charakter losowy. W pozostałych przypadkach (tam, gdzie dobór próby został opisany) stosowano dobór kwotowy, bądź inny rodzaj doboru celowego (w jednym z badań zastosowano tzw. dobór metodą kuli śnieżnej). W przypadku stosowania bardziej złożonych metod doboru próby, Zamawiający raczej dobrze radzili sobie z definiowaniem wymagań. W trzech z czterech zamówień, w których dokładnie określono typ doboru w sposób poprawny zdefiniowano jej warstwowanie. Nieco rzadziej, Zamawiający opisywali sposób alokacji próby (dwa badania), największy zaś problem stanowiło opisanie jej wiązkowania (tylko jedno badanie). Zamawiający w sposób poprawny definiowali wielkość próby, albo podając jej wielkość bezpośrednio w zamówieniu, albo wymagając od Wykonawcy przedstawienia proponowanej wielkości wraz z jej uzasadnienniem.
Operat:
Wśród siedmiu zamówień opartych o dobór losowy w przypadku pięciu z nich określono operat, który powinien zostać zastosowany podczas doboru próby.
Ogłoszenia o udzieleniu zamówienia:
Liczba rozstrzygniętych przetargów: 9
Liczba zamówionych sondaży: 16
Wartość rozstrzygniętych przetargów:1 456 860,69 zł
Średnia cena jednego sondażu: 91 053,79 zł
Najwyższe udzielone zamówienie:
Nazwa: Poznań: Usługa przeprowadzenia standaryzacji przez ankieterów w projekcie VII Budowa banków zadań.
Zamawiający: Okręgowa Komisja Egzaminacyjna w Poznaniu
Wykonawca: Mind&Fieldwork Research
Cena: 582 528 zł
