Ogłoszenia o zamówieniu:
Liczba zamówień: 16 (do dwóch nie udało się jeszcze dotrzeć)
Liczba zamówionych sondaży: 30
Średnia waga ceny w kryteriach oceny ofert: 67%
Cel badania:
W większości zamówień cel badania był poprawnie opisany. Nie wystąpiły problemy z terminem realizacji badań. W aż pięciu zamówieniach niepoprawnie została zdefiniowana badana populacja. Problemem były przede wszystkim nieprecyzyjne sformułowania – np. przy badaniu mikroprzedsiębiorstw nie określono z kim w przedsiębiorstwach mają być prowadzone wywiady, czy nie zdefiniowano pojęcia „turysta”. Pojawiły się również problemy w opisie zakresu zamówień.
Kwestionariusz:
Tak jak w poprzednim miesiącu w połowie zamówień kwestionariusz dostarczany jest przez Zamawiającego. Zamawiający dobrze radzili sobie z opisem wymagań odnośnie kwestionariusza. Tylko w przypadku jednego przetargu zamawiający nie przewidział konsultacji kwestionariusza, mimo iż za jego przygotowanie odpowiadał Wykonawca. Takie postępowanie powoduje ryzyko, że kwestionariusz nie będzie pozwalał na uzyskanie interesującej Zamawiającego wiedzy. Zamawiający częściej niż w marcu definiowali kryteria, które musi spełniać kwestionariusz przygotowany przez Wykonawcę, choć nadal w kilku zamówieniach to kryterium się nie pojawiło. W czterech zamówieniach (25%) przewidziano pilotaż kwestionariusza, co jest bardzo dobrą praktyką. Zamawiający gorzej poradzili sobie z określaniem czasu trwania kwestionariusza – niemal połowa zamówień nie precyzowała tej kwestii.
Realizacja:
W każdym z analizowanych zamówień za realizację badania odpowiedzialny był Wykonawca. W dwóch zamówieniach nie została określona technika zbierania danych. Jest to bardzo ważne, gdyż badania realizowane różnymi technikami mogą znacznie różnić się jakością i ceną. W pięciu zamówieniach określono, że Wykonawca musi posiadać lub prowadzić badania zgodnie z branżowymi certyfikatami. Zamawiający niezbyt często wymagali szkoleń dla ankieterów oraz kontroli ich pracy. Brak takich wymagań może wynikać z braku świadomości jak ważnym elementem każdego sondażu jest praca ankieterów.
Poziom realizacji próby:
W trzech zamówieniach określono wymagany poziom realizacji próby. Niski poziom realizacji próby należy do najpoważniejszych problemów współczesnych badań sondażowych, a jego występowanie może prowadzić do znacznego skrzywienia wyników badania. Niestety wiedza na temat istotności tego problemu jest nadal niewielka. Należy jednak zaznaczyć, że definiowanie poziomu realizacji próby nie jest konieczne dla wszystkich typów badań. Podobnie jak przed miesiącem zdarzało się, że Zamawiający wymagali od Wykonawców przesyłania listów zapowiednich do respondentów, co pozytywnie wpływa na poziom realizacji próby. Część Zamawiających określała również ile razy respondent ma podjąć próbę kontaktu z respondentem, jeśli za pierwszym razem nie uda się przeprowadzić badania. Choć poziom realizacji próby w istotny sposób w pływa na jakość całego badania, to niestety tylko niewielka część Zamawiających zdaje sobie z tego sprawę.
Dobór próby:
W większości zamówień za dobór próby odpowiedzialny był Wykonawca. Spora część Zamawiających miało problem z poprawnym opisaniem sposobu doboru próby. Wydaje się też, że Zamawiający lepiej znający się na prowadzeniu badań sondażowych, częściej sami dostarczają próbę Wykonawcom. Dużym problemem dla większości Zamawiających jest odróżnienie prób losowych od kwotowych, co jest istotnym czynnikiem wpływającym na jakość i cenę badań sondażowych. W zamówieniach, w których została określona, w większości poprawnie definiowano szczegółowe kwestie takie jak typ doboru próby, warstwowanie prób czy alokację, choć część z Zamawiających miała również z tym problemy. W porównaniu z marcem Zamawiający bardzo dobrze poradzili sobie z trudnym kryterium wiązkowania próby – zostało ono zdefiniowane w czterech zamówieniach, co bardzo dobrze świadczy o kompetencjach osób, które je pisały. W przypadku badań na próbach kwotowych zwykle poprawnie określano kwoty ze względu, na które mieli zostać dobrani respondenci. Tylko w jednym przypadku Zamawiający nie określił liczebność prób, gdy wydawało się to konieczne.
Operat:
W przypadku badań na próbach losowych Zamawiający dobrze radzili sobie z określeniem operatu z którego miała być wylosowana próba. Nie zdarzyło się natomiast by definiowali kryteria, jakie musi spełniać operat, a ostateczną decyzję dotyczącą wyboru konkretnego operatu pozostawiali Wykonawcy.
