Wystąpienie Beaty Roguskiej i Artemis Bellos z CBOS skoncentrowane było wokół próby losowej, gdyż to właśnie ta metoda doboru respondentów – wykorzystująca operat PESEL – jest przewagą badań realizowanych przez ten ośrodek techniką face to face. Jednocześnie prelegentki podkreślały, że nie jest to jedyny dobór próby ani jedyna technika zbierania danych, z jakich korzysta CBOS.Zaletą próby losowej jest oczywiście jej reprezentatywność i możliwość powrotu ankietera do tego samego respondenta, jeśli przy pierwszym kontakcie nie wziął udziału w badaniu. Dodatkowo technika zbierania danych face to face pozwala na realizację długich kwestionariuszy (przykładem było nawet 80 minut), co z kolei umożliwia zebranie obszernego materiału do pogłębionych analiz.
W czasie wystąpienia przedstawione zostały też wady tego podejścia – nie da się ukryć, że bezpośrednie dotarcie do każdego badanego jest kosztowne i czasochłonne. Prelegentki powiedziały, że nawet 40% budżetu realizacji badania techniką face to face stanowią koszty dojazdu ankieterów. Powroty do tego samego badanego są więc z jednej strony mocną stroną, a z drugiej poważnie obciążającą budżet. Podobnie interakcja między respondentem a ankieterem ma zalety i wady. Do pierwszych należy motywowanie, podtrzymywanie uwagi i wyjaśnianie ewentualnych niejasności badanemu. Wadą natomiast jest cały zestaw zjawisk składających się na opisany w literaturze efekt ankieterski. W jego kontekście padło podczas wystąpienia krótkie streszczenie eksperymentu, jaki wykonał CBOS. W efekcie stwierdzono brak związku między osobistymi preferencjami ankieterów a politycznym poparciem deklarowanym przez badanych. Mając w pamięci występowanie niespójności między deklaracjami respondentów a rzeczywistością – możliwe do zweryfikowania w sytuacji wyborów – badaczki zaprezentowały różnice między rzeczywistą frekwencją a deklaracjami tak dotyczących zamiaru udziału w głosowaniu, jak i przeszłych zachowań (pytanie ex post).
W drugiej części wystąpienia prelegentki skupiły się na efektywności techniki face to face tzn. zaprezentowały zmieniający się w czasie response rate i zestawienie przyczyn niezrealizowania wywiadu. Najczęściej dzieje się to ze względu na nieobecność wylosowanego respondenta w domu przez cały czas trwania badania oraz odmowę wzięcia udziału. Aby podnosić (lub utrzymać na obecnym poziomie ok. 42%) response rate wprowadzono cały system działań z jednej strony motywujących, a z drugiej kontrolujących prace ankieterów. Należą do nich: zróżnicowanie stawek dla ankieterów oraz koordynatorów w zależności od osiągniętego response rate, szybkie wynagradzanie ankieterów, ale także kary za łamanie zasad pracy oraz wiele innych.
Prezentacja 1 – Artemis Bellos, Beata Roguska, Metodologia badania face-to-face
Drugie wystąpienie w panelu należało do Stanisława Mirowskiego z Millward Brown, który skupił się na metodologii CATI i jej uwarunkowaniach. Przedstawił rozwój tej techniki w Polsce oraz zasięg telefonii – tak stacjonarnej jak i komórkowej – zmieniający się na przestrzeni lat. Wysoka penetracja telefonii komórkowej w Polsce wypiera telefony stacjonarne, co autor wystąpienia przedstawił za pomocą faktu: „Na przełomie 2006-2007 dostępność osób 15+ stała się większa pod telefonem komórkowym niż pod telefonem stacjonarnym w domu”. W efekcie zasadne staje się wykorzystanie próby mieszanej tj. łączenie operatu telefonii stacjonarnej i komórkowej. Problemów z określeniem struktury tej próby, która odwzorowałaby proporcje w badanej populacji dostarcza dynamiczny rynek telefoniczny. Z jednej strony pożyteczne byłoby przy okazji wywiadu dokładne określenie statusu respondenta jako użytkownika telefonii, z drugiej jednak – szczególnie przy krótkich, kilkupytaniowych sondażach – taki zestaw pytań mógłby zakłócać sytuację wywiadu. Mimo to Stanisław Mirowski zaprezentował dane konieczne do uzyskania w trakcie wywiadu, aby możliwe było określenie prawdopodobieństw doboru przez oba rodzaje telefonii. Niezbędne są też dane populacyjne, które nie są jednoznaczne, w rezultacie czego możliwe są pomyłki przy szacowaniu prawdopodobieństw doboru respondenta.
Prelegent powiedział o sposobach ważenia danych zbieranych techniką CATI, a na koniec przedstawił zalety stosowania tej metody. Niewątpliwie należy do nich koszt niższy niż w przypadku badań realizowanych za pomocą wywiadów bezpośrednich. Dzięki bieżącemu nadzorowi supervizorskiemu nie jest potrzebna kontrola po badaniu. „Pokrycie populacji próbą mix telefonów komórkowych i stacjonarnych (92-96%) nie znajduje konkurencji w żadnym operacie stosowanym do losowania prób terenowych.”
Prezentacja 2 – Stanisław Mirowski, Metodologia CATI w badaniach sondażowych
Dwa kolejne wystąpienia podczas panelu Techniki zbierania danych poświęcone były badaniom realizowanym przez Internet. Pierwszym prelegentem był Andrzej Grapich reprezentujący PBI, który przedstawił wzrost udziału badań CAWI na rynku badawczym w Polsce w ciągu ostatnich kilku lat. Mówił też o penetracji Internetu w Polsce na podstawie wyników NetTrackingu Millward Brown, przedstawiając odsetki osób posiadających dostęp do Internetu w grupach wyróżnionych ze względu na: płeć, wiek, wykształcenie, wielkość miejscowości zamieszkania, sytuację zawodową i zarobki. Wyraźne nadwyżki internautów w stosunku do ogółu Polaków występują wśród osób w wieku 19-34 lata, posiadających wyższe wykształcenie, uczniów/studentów i osób posiadających stałą pracę. Natomiast niedobory korzystających z Internetu obserwuje się w grupach emerytów i rencistów, osób legitymizujących się wykształceniem podstawowym i powyżej 60 roku życia.
Świadomy tych ograniczeń prelegent uważa, że na większości target grupach pożądanych przez klientów z powodzeniem można realizować badania techniką CAWI. W dalszej kolejności zaprezentował więc możliwe sposoby pozyskiwania respondentów, do których należą: listy malinowe (często z baz klientów), panele internautów, inne formy okołopanelowe tzn. panele naturalne oraz real time sampling polegający na wyświetlaniu ankiet na stronach internetowych, które odwiedzają użytkownicy sieci. Skupiając się wyłącznie na panelach internautów oraz RTS Andrzej Grapich porównał motywacje do udziału w badaniu respondentów wyłonionych tymi dwoma metodami oraz ich chęć udziału w badaniu, zmierzoną w badaniu IIBR/Gemius w ramach projektu „Innowacyjne metody poprawy jakości badań prowadzonych przez internet” (maj 2010).
Prezentacja 3 – Andrzej Garapich, Metodologia badań internetowych
Wątek porównawczy – po wstępie charakteryzującym początki badań „bez ankietera” – kontynuował Michał Kot, dyrektor badań IIBR. W panelu częściej biorą udział kobiety, natomiast do badań prowadzonych z wykorzystaniem RTS rekrutuje się więcej osób młodych. Osoby wyżej wykształcone są częściej w próbach panelowych niż RTSowych, tam też znajduje się wyższy odsetek osób z dużych miast oraz ze stałą pracą. Podczas rekrutacji za pomocą RTS badanymi stają się częściej gorzej zarabiający, posiadający bardziej liczne gospodarstwa domowe i o krótszym stażu w Internecie. Heavy userzy i osoby o wyższych kompetencjach komputerowych są raczej w panelach. Co istotne z punktu widzenia realizacji badania – częstsze porzucanie ankiety i unikanie odpowiedzi zdarza się respondentom w próbach RTS, natomiast badani w panelach chętniej udzielają odpowiedzi także na pytania składające się z długich list wielokrotnego wyboru.
Podsumowując te różnice prelegent wskazał na zasadność stosowania każdej z technik w zależności od specyfiki badania.
Michał Kot podjął też wątek wyzwań badań on-line, do których zaliczył dobór próby, niski response rate oraz brak kontroli ankieta, a w związku z tym dwa typy niepożądanych respondentów. Nazwał ich „klikaczami” i „psotnikami”, scharakteryzował te grupy i opowiedział o sposobach radzenia sobie z podejrzanymi danymi. Prezentujący zostawił organizatorom zestawy pytań, dzięki którym ocenić można standard badań online realizowanych techniką panelu i RTS.
Prezentacja 4 – Michał Kot, Kto wypełnia te ankiety przez internet? I co z tą reprezentatywnością?