Czytając prasę łatwo przyjmujemy do wiadomości, że przytoczony przez autora artykułu procent Polaków na dane pytanie udzielił pewnej odpowiedzi. Wydaje się to dla nas proste, oczywiste, jednoznaczne. Znamy pytanie, znamy odpowiedzi, mogłoby się zatem wydawać, że wiemy wszystko. Myśląc w ten sposób, zapominamy jednak o bardzo ważnej rzeczy: na to samo pytanie zadane raz przez internet, a drugi raz bezpośrednio (face-to-face w żargonie badawczym) ta samo osoba bardzo często udzieli różnych odpowiedzi. Dlatego analizując wyniki sondaży warto zwrócić uwagę na to, jaką techniką zostało zrealizowane badanie. Przeczytajmy wtedy pytanie jakie zadano respondentowi i postawmy się na jego miejscu: czy na pewno odpowiemy szczerze, gdy obca osoba zapyta się nas przez telefon np. o zarobki?
Drugi aspekt techniki w jakiej zrealizowano badanie to poziom realizacji badania. Gdy wyświetla się nam okienko na ekranie komputera z ankietą, to najczęściej od razu ją wyłączamy, a po minucie nie pamiętamy już całej sytuacji. Tymczasem gdy ankieter odwiedzi nas osobiście, w większym stopniu czujemy się zobowiązani go przyjąć, skoro poświęcił swój czas i osobiście przybył na miejsce. Sprawia to, że bezpośrednie techniki realizacji badania cechuje większa skłonność respondentów do uczestniczenia w badaniu. To zaś przekłada się na jakość uzyskanych danych i możliwość uogólnienia danych na całą populację (zobacz pseudo-przedział ufności). Oczywiste jest, że jeżeli zaledwie co 10 respondent zgadza się na udział w badaniu, a reszta odkłada słuchawkę, gdy dzwoni do nich firma badawcza, to jakość zebranych w ten sposób danych jest wątpliwa, a nawet jeżeli próba była wylosowana w sposób reprezentatywny, to trudno uznać, że zbadana zbiorowość jest reprezentatywna.
Badanie bezpośrednie – (inaczej: face-to-face, PAPI – Paper And Pencil Interviewing lub CAPI – Computer Assisted Personal Interviewing) badanie realizowane metodą bezpośredniego wywiadu, w którym ankieter odczytuje pytania respondentowi i zaznacza je na papierowym arkuszu lub na komputerze. Takie badanie przez bezpośrednią obecność ankietera cechuje się wysokim zaangażowaniem respondenta i wyższym poziomem realizacji badania. Z jednej strony sprawia to, że wyniki badań realizowanych przez wywiady bezpośrednie obarczone są najmniejszym skrzywieniem i największą możliwością uogólniania wyników na całą populację. Z drugiej strony jest to technika najdroższa, a bezpośrednia obecność ankietera wpływa negatywnie na szczerość respondentów w przypadku pytań drażliwych i osobistych.
Badanie telefoniczne – (inaczej CATI – Computer Assisted Telephone Interviewing) badania realizowane przez telefon to jedne z najczęściej wykonywanych badań. Sami jednak wiemy jak wygląda ich realizacja w praktyce: „przepraszam, nie mam czasu” albo „już brałem udział w tym badaniu” przychodzi nam przez telefon dużo łatwiej, niż w przypadku bezpośredniej obecności ankietera. Powoduje to, że poziom realizacji badań telefonicznych wynosi zwykle od 7% do 13%, co oznacza że mniej więcej co 10 wylosowana do próby osoba rzeczywiście bierze udział w badaniu. Do tego dochodzi skrzywienie wynikające z faktu, że pewne osoby chętniej odbierają telefon i częściej przebywają w miejscu zamieszkania. Osoby aktywne, młode, pracujące są najczęściej poza miejscem zamieszkania, gdy dzwoni do nich telefon. Dlatego w takich badaniach te grupy są niedoreprezentowane. Inaczej jest z osobami starszymi, które oprócz tego, że często przebywają w miejscu zamieszkania, to dużo chętniej biorą udział w badaniach. Poza tym, gdy respondent nie jest szczery w kwestiach nawet tak podstawowych jak wiek czy miejsce zamieszkania, ankieter nie jest w stanie się co do tego zorientować. Wszystko to sprawia, że możliwość uogólniania wyników badań telefonicznych na całą populację jest bardzo wątpliwa.
Badanie internetowe – (inaczej CAWI – Computer Assisted Web Interviewing) coraz częściej stosuje się badania internetowe. Ich niewątpliwą zaletą jest wysokie poczucie anonimowości respondenta, brak onieśmielajacego bezpośredniego kontaktu z ankieterem i bardzo niski koszt badań. Niestety na tym kończą się zalety sondaży internetowych. Do wad badań internetowych należy brak możliwości losowania prób reprezentatywnych dla całej populacji Polaków, gdyż nie ma właściwego do tego celu operatu (zobacz: populacja, operat losowania i podstawa procentowania) i niski poziom realizacji badań. Każdy z nas wie, jak łatwo jest zignorować wiadomość e-mail lub okienko w przeglądarce z zaproszeniem do badania. Sprawia to, że poziom realizacji badań internetowych jest niższy niż dla badań telefonicznych. Do tego dochodzi problem zróżnicowania dostępu do internetu i częstotliwości korzystania z niego. Wiadomo, że osoby często korzystające z internetu, tj. osoby młode z dużych miast, mają dużo większą szansę uczestniczyć w badaniu niż ich dziadkowie a nawet rodzice, zwłaszcza gdy tamci mieszkają na wsi. Problem z nieszczerymi respondentami dotyczy badań internetowych w jeszcze większej mierze niż telefonicznych.
Inne techniki – do pozostałych technik należą ankiety pocztowe, ankiety wręczane respondentom do samodzielnego wypełnienia czy ankiety realizowane przez internet z udziałem ankietera. Jednak stosowanie tych technik jest bardzo rzadkie. Ankiety pocztowe i wypełniane samodzielnie są obciążone podobnymi błędami jak ankieta internetowa, z tym że w tym przypadku osoby starsze na ogół wypełniają je częściej niż osoby młode, zaś wywiady internetowe z udziałem ankietera w praktyce właściwie nie są nigdy wykorzystywane.
Techniki mieszane – dla optymalizacji rezultatów badania stosuje się czasami techniki mieszane. Polegają one np. na wysłaniu do respondentów zaproszeń do badania internetowego, a w dalszej kolejności zadzwonienie lub udanie się bezpośrednio do osób, które nie wypełniły ankiety internetowej. Pozwala to zminimalizować koszty przy względnie wysokim poziomie realizacji badania. Jest to jednak technika stosowana rzadko, gdyż jest złożona organizacyjnie i wymaga posiadania wielu informacji o respondencie. W jej przypadku skrzywienie wyników w próbie jest wypadkową skrzywień związanych z poszczególnymi zastosowanymi technikami realizacji badania.
Podsumowując: zanim zarzucimy agencji badawczej czy publicyście oszustwo sprawdźmy czy badanie nie było po prostu niskiej jakości. Jeżeli badanie zostało wykonane telefoniczne lub internetowo, to pomiar może być obarczony wysokim błędem, a wyniki mogą być skrzywione. Jeżeli wynik badania telefonicznego lub internetowego budzi nasze wątpliwości apelujmy o powtórzenie badania techniką najlepszą dla większości problemów: techniką wywiadów bezpośrednich.