Przy realizacji niektórych celów, sondaże prowadzone przez Internet mogą być dobrą alternatywą dla badań face-to-face lub telefonicznych. Trzeba jednak pamiętać, że nie w każdym przypadku się sprawdzą.
Pod pojęciem badań prowadzonych przez Internet, kryją się przynajmniej trzy sposoby zbierania danych:
1. Real Time Sampling, polegający na wyświetlaniu próśb o wypełnienie ankiety osobom odwiedzającym wybrane portale internetowe
2. Panele internetowe, do których mogą zapisywać się osoby chcące w zamian za wypełnianie ankiet otrzymywać nagrody.
3. Badania prowadzone na posiadanym wcześniej operacie, polegają na próbie dotarcia do wybranych osób za pomocą ich adresów mailowych.
Pierwsze dwa sposoby wiążą się z wieloma trudnościami (np. brak możliwości trafienia do próby osób nie korzystających z Internetu), uniemożliwiającymi realizację badań na próbach losowych. Próby kwotowe mogą być natomiast poważnie skrzywione, gdyż nawet przy kontroli takich cech jak wiek, płeć, wykształcenie, czy miejsce zamieszkania, osoby odpowiadające na pojawiające się na portalach ankiety lub zapisujące do paneli internetowych mogą się istotnie różnić od osób, które tego nie robią. W związku z tym, rekomendujemy prowadzenie przez Internet jedynie badań na populacjach dla których zamawiający posiada kompletny operat lub wykonawca jest wstanie taki operat przygotować.
Badania takie są odpowiednie do stosowania na dwóch typach populacji:
1. Instytucjach, dla których istnieje administracyjny wykaz adresów mailowych lub taki wykaz jest możliwy do stworzenia (np. szkoły, urzędy gminy, komisariaty)
2. Beneficjentach różnego rodzaju programów lub szkoleń, posiadających adresy mailowe
W obu przypadkach należy pamiętać by w SIWZ w sposób precyzyjny określić jakiej populacji ma dotyczyć badanie, a w przypadku gdy są to instytucje, jaki jej przedstawiciel jest uprawniony do wypełnienia ankiety.
Przykład zapisu:
„Badanie ma zostać przeprowadzone na ogólnopolskiej próbie szkół podstawowych (również szkół specjalnych, integracyjnych, z oddziałami integracyjnymi i sportowymi, a także sportowych oraz mistrzostwa sportowego), a do jej wypełnienia upoważniony jest jedynie dyrektor lub vice-dyrektor danej placówki”
W zamówieniu powinny pojawić się dokładnie określone cele badania lub wstępna wersja kwestionariusza. Należy zwrócić uwagę, że kwestionariusz (a więc i cele badania) nie powinien być zbytnio rozbudowany, by nie zniechęcić respondentów do jego starannego wypełnienia. Rekomendujemy by takie badanie nie trwało dłużej niż 20 minut. Zniechęcać do wypełniania mogą również liczne pytania otwarte, których liczba w przypadku badań prowadzonych przez Internet powinna być ograniczona. W przypadku tego typu badań, istotne jest przeprowadzenie pilotażu skryptu kwestionariusza by móc przed właściwym badaniem wyeliminować ewentualne błędy.
Przykład zapisu:
„W ciągu 10 dni roboczych od podpisania umowy, Wykonawca jest zobowiązany do przedstawienia pierwszej wersji kwestionariusza, odpowiadającego opisanym w zamówieniu problemom badawczym. Oczekiwany czas trwania kwestionariusza to około 20 min. W ciągu kolejnych 10 dni roboczych odbywać się będą konsultacje kwestionariusza między Zamawiającym, a Wykonawcą. Po zaakceptowaniu przez Zamawiającego ostatecznej wersji kwestionariusza, Wykonawca zobowiązany jest w ciągu 10 dni roboczych przygotować skrypt kwestionariusza (internetową wersję ankiety), która zostanie zatwierdzona przez Zamawiającego w ciągu 5 dni roboczych. Na podstawie zatwierdzonego przez Zamawiającego skryptu ankiety zostanie w ciągu 15 dni roboczych przeprowadzony pilotaż na 30 szkołach z badanej populacji. Na podstawie przeprowadzonego pilotażu Wykonawca jest zobowiązany do przedstawienia tabelarycznego zestawienia odpowiedzi na wszystkie pytania oraz wniosków metodologicznych dotyczących kwestionariusza. Po zaakceptowaniu przez Zamawiającego raportu z pilotażu, Wykonawca będzie mógł przystąpić do realizacji właściwego badania.”
W SIWZ powinna się znaleźć również informacja określająca, w jakiej formie ma zostać przesłana do respondenta ankieta – czy ma to być załącznik do maila z prośbą o odesłanie (nie rekomendowane), czy link do strony internetowej, na której będzie można wypełnić ankietę (rekomendowane). Dobrym rozwiązaniem może być również wymóg ponownego przesłania ankiet do respondentów, którzy nie odpowiedzieli na pierwszy kontakt w ciągu 7 dni lub telefonicznego przypomnienia takim respondentom o wypełnieniu ankiety. Zapisy takie nie są konieczne jeśli określony zostanie w SIWZ minimalny poziom realizacji próby (nie rekomendowane) lub będzie on stanowił pozacenowe kryterium oceny oferty (rekomendowane). Warto jednak zawrzeć wymóg ponownej próby kontaktu nawet po określeniu minimalnego poziomu realizacji próby, by mieć pewność, że wykonawca podjął próbę ponownego skontaktowania się ze wszystkimi respondentami, którzy nie wypełnili ankiety, a nie poprzestał na badanych pozwalających na osiągnięcie minimalnego poziomu realizacji próby.
Przykład zapisu:
„Wykonawca jest zobowiązany zrealizować 500 wywiadów w wylosowanych szkołach. W przypadku zrealizowania mniejszej liczby wywiadów, Wykonawca otrzyma niższe wynagrodzenie, niż kwota podana w umowie. Niepełna realizacja próby będzie skutkowała następującymi konsekwencjami:
450-500 zrealizowanych wywiadów i więcej – 100% wynagrodzenia;
400-449 zrealizowanych wywiadów – 80% wynagrodzenia;
350-399 zrealizowanych wywiadów – 50% wynagrodzenia;
mniej niż 350 zrealizowanych wywiadów będzie skutkowało rozwiązaniem umowy.
Wykonawca jest zobowiązany dostarczać Zamawiającemu w odstępach poniżej 5 dni roboczych dane ze zrealizowanych już ankiet. Wykonawca jest też zobowiązany co 5 dni roboczych podawać liczbę szkół, które odmówiły udziału w badaniu – bez wskazywania, które to szkoły.
Wykonawca jest zobowiązany do przekazania ankiety do wszystkich wylosowanych szkół. Jeśli dana szkoła nie wypełni ankiety w ciągu 10 dni roboczych od jej przesłania oraz nie przekaże informacji o odmowie udziału w badaniu, Wykonawca zobowiązany jest do mailowego przypomnienia o prośbie o wypełnienie ankiety. Wykonawca może podjąć próby telefonicznego kontaktu z wylosowanymi szkołami w celu podniesienia poziomu realizacji próby.”
Tak jak we wszystkich innych sondażach, w badaniach prowadzonych przez Internet konieczne jest określenie sposobu doboru próby, który będzie miał zostać zastosowany przez wykonawcę (rekomendowane) lub określenie pozacenowych kryteriów oceny tego elementu (nie rekomendowany, bo nie znamy wariancji warunkowych, a gdybanie o tym po jakiej zmiennej należy powarstwować wydaje się bezzasadne). W przypadku badań prowadzonych przez Internet, gdy dostępny jest operat lub wykonawca przygotuje taki operat, rekomendujemy stosowanie prób losowych. W ich opisie należy wskazać jaka ma być jej liczebność, ze względu na jakie zmienne próba ma być warstwowana oraz jaka ma być jej alokacja między warstwy. Sposób warstwowania jest uzależniony od informacji zawartych w operacie, ale jeśli zawiera on informacje o zmiennych mogących mieć związek ze zmiennymi, których określenie jest celem badania, to warto ze względu na nie utworzyć warstwy. Alokacja powinna mieć charakter proporcjonalny (jeśli celem badania jest jak najdokładniejsze oszacowanie parametrów w całej populacji) lub równomierny (jeśli celem badania jest jak najdokładniejsze porównanie pewnych warstw w populacji między sobą).
Przykład zapisu:
„Wykonawca zobowiązany jest do wylosowania próby 500 szkół podstawowych z opisanej populacji. Próba ma mieć charakter warstwowy o alokacji proporcjonalnej. Warstwy zostaną wyznaczone ze względu na łączny rozkład szkół w województwach oraz ich wielkości w podziale na szkoły małe (do 199 uczniów) oraz duże (posiadające 200 lub więcej uczniów).”
Innym rozwiązaniem wykorzystywanym przy badaniach małych populacji (np. beneficjentów programu lub szkolenia) jest prowadzenie badań wyczerpujących – zakładających realizację ankiet ze wszystkimi osobami z danej populacji. W takim przypadku nie trzeba definiować warstw, ani alokacji. Trzeba jednak pamiętać, że w sytuacji gdy nie uda się osiągnąć wysokiego poziomu realizacji próby, wyniki mogą być obciążone.
