Wiele badań ilościowych służy do ewaluacji projektów/szkoleń. Są one ważnym elementem kształtowania polityki publicznej, gdyż pozwalają ocenić skuteczność podejmowanych działań. Ze względu na różnorodność stosowanych programów, niemożliwe jest przedstawienie jednego schematu według którego powinna być badana efektywność danego projektu/szkolenia. W ciągu ostatnich kilku lat powstało wiele ogólnodostępnych prac dotyczących stosowania metod kontrfaktycznych w ewaluacji (np. difference-in-difference, propensity score matching, czy zmiennych instrumentalnych).
W tym artykule zajmiemy się najprostszym schematem ewaluacyjnym. Ma on zwrócić uwagę, że poza określeniem metody jaką ma być prowadzona ewaluacja (np. propensity score matching), ważne jest również określenie wymagań odnośnie sondażu, który ma doprowadzić do zebrania danych potrzebnych do przeprowadzenia ewaluacji. Załóżmy, że chcemy ocenić, czy osoby biorące udział w szkoleniach częściej wracały na rynek pracy, niż miałoby to miejsce, gdyby nie wzięły w nim udziału. Naiwne podejście do ewaluacji mogłoby zakładać, że wystarczy zbadać, jaki odsetek osób biorących udział w szkoleniu znalazło pracę. Nie jest to jednak podejście poprawne, gdyż część osób biorących udział w szkoleniach, znalazłoby pracę nawet bez udziału w szkoleniu. W związku z tym, przy badaniach ewaluacyjnych trzeba zawsze pamiętać o zbadaniu grupy kontrolnej – osób znajdujących się w podobnej sytuacji do osób objętych szkoleniem, ale nie biorących w nich udziału.
Utworzenie grupy kontrolnej jest najłatwiejsze, gdy do programu zgłosiło się wiele osób spełniających kryteria, a o zakwalifikowaniu osoby do udziału w szkoleniu decydowało losowanie. W takiej sytuacji w grupie eksperymentalnej powinny się znaleźć osoby, które wzięły udział w szkoleniu, a w grupie kontrolnej osoby, które zgłosiły się do programu, spełniały wymagania, ale nie zostały wylosowane do udziału nim. Takim zamówieniem będziemy się zajmowali w tym artykule. Niestety zastosowanie takiego schematu rzadko kiedy jest możliwe. Należy wtedy pamiętać, że osoby zgłaszające się na szkolenia z dużym prawdopodobieństwem mają większą szansę na powrót na rynek pracy, niż osoby niezgłaszające się na takie szkolenia. W związku z tym porównanie odsetka osób z grupy eksperymentalnej, które wróciły na rynek pracy do odsetka osób, które mimo braku szkolenia wróciły na rynek pracy, może przeszacowywać skuteczność szkoleń. Więcej na ten temat można przeczytać w publikacjach dotyczących metod kontrfaktycznych w ewaluacji.
Wróćmy jednak do naszego przykładu. Podobnie jak we wszystkich innych badaniach, należy pamiętać by w sposób precyzyjny określić jakiej populacji ma dotyczyć badanie, tak by wykonawca jednoznacznie potrafił stwierdzić czy dana jednostka należy do populacji, czy nie. W przypadku opisywanego badania, dodatkową trudnością jest konieczność określenia populacji osób, które mają się znaleźć w grupie eksperymentalnej oraz kontrolnej.
Przykład zapisu:
„Do udziału w szkoleniach „Nowy start” zgłosiło się i spełniało wymagania 6 602 osób. Populację beneficjentów szkoleń stanowi 4000 osób, które zostały wylosowane do wzięcia udziału w szkoleniach spośród osób, które się zgłosiły i spełniały kryteria, natomiast populację kandydatów stanowią 2602 osoby, które zgłosiły się do udziału w szkoleniach i spełniało wymagania, ale nie zostały wylosowane do udziału w szkoleniach. Zamawiający dysponuje danymi kontaktowymi do wszystkich osób, które zgłosiły się i spełniły wymagania uczestnictwa w szkoleniach.”
W zamówieniu powinny pojawić się dokładnie określone cele badania lub wstępna wersja kwestionariusza. Należy pamiętać, że pytania w przypadku których będą miały być stosowane porównania, powinny zostać zadane w taki sam sposób w grupie eksperymentalnej i grupie kontrolnej. Należy również wskazać dla jakich pytań oczekuje się porównań z wykorzystaniem testów statystycznych. Warto przy przygotowywaniu wymagań odnośnie kwestionariusza rozważyć zalety stosowania pytań o fakty, w odróżnieniu od pytań o opinie i odczucia. W badaniach face-to-face kwestionariusz badania może być dość rozbudowany w porównaniu do innych badań. Należy jednak pamiętać by nie był on za długi (do godziny) by nie zniechęcał respondentów do udziału w badaniu oraz nie powodował zmęczenia respondentów, mogącego skutkować obniżeniem jakości zebranych danych. W przypadku gdy badanie jest prowadzone metodą CAPI (wywiad bezpośredni wspomagany komputerowo), szczególnie istotne jest przeprowadzenie pilotażu skryptu kwestionariusza by móc przed właściwym badaniem wyeliminować ewentualne błędy. Należy również pamiętać o określeniu oczekiwanego czasu trwania kwestionariusza.
Przykład zapisu:
„W ciągu 10 dni roboczych od podpisania umowy, Wykonawca jest zobowiązany do przedstawienia pierwszej wersji kwestionariusza, odpowiadającego opisanym w zamówieniu problemom badawczym. Oczekiwany czas trwania kwestionariusza to około 30 min. W ciągu kolejnych 10 dni roboczych odbywać się będą konsultacje kwestionariusza między Zamawiającym, a Wykonawcą. Po zaakceptowaniu przez Zamawiającego ostatecznej wersji kwestionariusza, Wykonawca zobowiązany jest w ciągu 10 dni roboczych przygotować skrypt kwestionariusza (wersję komputerową ankiety), która zostanie zatwierdzona przez Zamawiającego w ciągu 5 dni roboczych. Na podstawie zatwierdzonego przez Zamawiającego skryptu ankiety zostanie w ciągu 15 dni roboczych przeprowadzony pilotaż na 30 respondentach z badanej populacji. Na podstawie przeprowadzonego pilotażu Wykonawca jest zobowiązany do przedstawienia tabelarycznego zestawienia odpowiedzi na wszystkie pytania oraz wniosków metodologicznych dotyczących kwestionariusza. Po zaakceptowaniu przez Zamawiającego raportu z pilotażu, Wykonawca będzie mógł przystąpić do realizacji właściwego badania.”
Podobnie jak w innych badaniach, konieczne jest określenie sposobu realizacji próby. Niezależnie od techniki zbierania danych, mając dostępną listę wszystkich osób z populacji należy zastosować losowy schemat doboru próby. W naszym prostym przykładzie, dzięki losowemu podziałowi na beneficjentów i kandydatów, możliwe jest wykorzystanie tradycyjnych metod doboru próby. W takim przypadku należy określić jaka powinna być liczebność próby w grupie kontrolnej i eksperymentalne oraz sposób warstwowania przy ich doborze. Aby maksymalizować dokładność porównań między próbą eksperymentalną i kontrolną, ich liczebności powinny być podobnej wielkości (najlepiej równoliczne). Warstwy powinny być wyznaczone dla obu prób ze względu na te same zmienne, mogące mieć wpływ na szansę sukcesu (w naszym przykładzie – znalezienie pracy).
Przykład zapisu:
„Wykonawca wylosuje 750 osobową próbę spośród beneficjentów oraz 750 osobową próbę spośród kandydatów. Losowanie w obu przypadkach ma mieć charakter warstwowy proporcjonalny do populacji (łącznie beneficjentów i kandydatów) ze względu na:
płeć,
wiek (15-34, 35-54, 55+),
wykształcenie (podstawowe, średnie, wyższe),
województwo,
wielkości miejscowości zamieszkania (wieś, miasto poniżej 20 tys. mieszkańców, miasto od 20 tys. do 100 tys. mieszkańców, miasto od 100 tys. do 500 tys. mieszkańców, miasto powyżej 500 tys. mieszkańców.).”
Aby zapewnić wysoką jakość wyników, należy określić minimalny poziom realizacji próby (nie rekomendowane) lub uzależnić od poziomu realizacji próby wynagrodzenia Wykonawcy (rekomendowane).
Przykład zapisu:
„Wykonawca jest zobowiązany zrealizować przynajmniej po 500 wywiadów w grupie eksperymentalnej i kontrolnej spośród wylosowanych 1500 kandydatów i beneficjentów. W przypadku niepełnej realizacji, Wykonawca otrzyma niższe wynagrodzenie, niż kwota podana w umowie. Niepełna realizacja próby będzie skutkowała następującymi konsekwencjami:
po 700-750 zrealizowanych wywiadów i więcej – 100% wynagrodzenia;
po 650-699 zrealizowanych wywiadów – 90% wynagrodzenia;
po 600-649 zrealizowanych wywiadów – 80% wynagrodzenia;
po 550-599 zrealizowanych wywiadów – 70% wynagrodzenia;
po 500-549 zrealizowanych wywiadów – 60% wynagrodzenia;
mniej niż po 500 zrealizowanych wywiadów w obu grupach będzie skutkowało rozwiązaniem umowy.
Wykonawca jest zobowiązany do podjęcia próby zrealizowania wywiadu z każdym z wylosowanych do próby respondentów i dostarczać Zamawiającemu w odstępach poniżej 5 dni roboczych dane ze zrealizowanych już ankiet.”
Ze względu na występujący w badaniach sondażowych problem nieuczciwych ankieterów, warto wynająć zewnętrzną w stosunku do wykonawcy firmę kontrolującą terenową realizację badania. Koszt takiej kontroli jest nie wygórowany, a może w znaczący sposób podnieść jakość realizacji badania. Warto również rozważyć wpisanie w zamówieniu wymogu posiadania przez wykonawcę certyfikatu Programu Kontroli Jakości Pracy Ankieterów dla badania PAPI/CAPI (lub równoważnego). Decydując się na wynajęcie firmy kontrolującej, warto w SIWZ zamieścić zapis dotyczący konsekwencji dla wykonawcy w przypadku stwierdzenia nieprawidłowości w realizacji badania. Aby umożliwić kontrolę zewnętrznej firmie, konieczne jest przekazanie Zamawiającemu przez Wykonawcę danych respondentów z którymi podjęto próbę realizacji badania.
Przykład zapisu:
„Wykonawca jest zobowiązany zbierać dane i rejestrować informacje o wszystkich respondentach, z którymi podjął próbę kontaktu – niezależnie od tego, czy udało się z nimi przeprowadzić wywiady, czy nie. Lista respondentów powinna mieć następującą konstrukcję: Imię i nazwisko, Miejscowość, Ulica i nr budynku, Telefon kontaktowy, Adres e-mail, Gmina, Powiat, Województwo.
Zamawiający zastrzega sobie prawo do wynajęcia zewnętrznej wobec Wykonawcy firmy, która będzie kontrolowała terenową realizację badania. W przypadku stwierdzenia, że wywiad nie został przeprowadzony, ankieter otrzyma zakaz dalszego prowadzenia badania, a wszystkie przeprowadzone przez niego wywiady zostaną uznane za niezrealizowane.”
W typowych badaniach sondażowych nie jest konieczne wymaganie od wykonawcy przeprowadzenia szkolenia dla ankieterów. Warto natomiast zobowiązać wykonawcę do przygotowania krótkiej notatki dotyczącej badania, z którą powinni się zapoznać wszyscy ankieterzy biorący udział w badaniu.
Przykład zapisu:
„Wykonawca zobowiązany jest przygotować instrukcję dla ankieterów, która będzie zawierała informacje o Zamawiającym, problemie badawczym, badanej populacji oraz technice i możliwych trudnościach związanych z realizacją badania. Instrukcja nie powinna być dłuższa niż 2 strony maszynopisu.”
W powyższym artykule opisano sposób prowadzenia badania ewaluacyjnego metodą face-to-face. W części przypadków z powodzeniem może ona zostać zastąpiona przez technikę CATI, a czasem również CAWI. Może to ograniczyć koszty badania. W przypadku badań ewaluacyjnych należy przede wszystkim pamiętać, że zastosowanie pewnej metody kontrfaktycznej do ewaluacji, może wymagać specyficznego schematu badania, który powinien zostać opisany w zamówieniu.
