W najnowszym numerze Public Opinion Quarterly (Volume 78, Number 2, Summer 2014 – http://poq.oxfordjournals.org/content/current) można znaleźć kilka bardzo interesujących artykułów dotyczących metodologii prowadzenia badań sondażowych:
- artykuły metodologiczne
Adam J. Berinsky i Gabriel S. Lenz “Red Scare? Revisiting Joe McCarthy’s Influence on 1950s Elections”.
We wczesnych latach 50’ XX wieku politycy amerykańscy biernie przyglądali się antykomunistycznemu “polowaniu na czarownice” dowodzonemu przez Senatora Joe McCarthy’ego. Częściowo robili tak, ponieważ byli przekonani, że opinia publiczna popiera McCarthy’ego, jednak swoje przekonanie opierali wyłącznie na wynikach sondaży politycznych. Autorzy badania, na podstawie złożonych badań, w których zastosowali cały wachlarz narzędzi analitycznych, stwierdzili, że politycy byli w błędzie. Ich zdaniem, nie należy wysuwać wniosków na temat opinii społecznej nawet w kwestii kluczowych założeń programów politycznych, jedynie na postawie ogólnych sondaży politycznych. Postulują wykorzystanie szczegółowych badań, w celu uniknięcia takich pomyłek jakie stały się udziałem polityków tolerujących działania Senatora McCarthy’ego.
David Dutwin i Mark Hugo Lopez “Considerations of Survey Error in Surveys of Hispanics”.
W związku z tym, że Hispanics[1] stanowią największą mniejszość narodową w Stanach Zjednoczonych, stali się obiektem wielu badań. Jednakże badania te prowadzone są w różnorodny sposób – na odrębnych grupach badawczych, na różnych próbach, z wykorzystaniem kwestionariuszy po angielsku i kwestionariuszy dwujęzycznych. Dane są również w odmienny sposób ważone. W artykule autorzy przytaczają efekty prac dwóch organizacji General Social Survey i the Pew Hispanic Center National Survey of Latinos, które podjęły się próby oceny wpływu trzech kluczowych, ich zdaniem, czynników (próba badawcza, język, w którym prowadzony jej wywiad, ważenie danych) na wyniki badania na Hispanics i proponują katalog dobrych praktyk, mających zapewnić ich wiarygodność.
Josh Pasek, Daniel Schneider, Jon A. Krosnick, Alexander Tahk, Eyal Ophir, Claire Milligan, “Prevalence and Moderators of the Candidate Name-Order Effect: Evidence from Statewide General Elections in California”
Prowadzone w przeszłości badania wskazywały, że kandydaci w wyborach mogą otrzymać więcej głosów, jeśli ich nazwiska znajdują się na wyższych pozycjach na listach wyborczych. Dwa ostatnie badania podważyły te konkluzje, w odniesieniu do kandydatów najważniejszych partii startujących w wyborach stanowych w USA i wzbudziły pytania o wpływ metod analitycznych na wyniki tych poprzednich badań. Analizując ogromną liczbę danych, autorzy badania chcieli sprawdzić, jakie warunki sprawiają, że efekt pierwszego miejsca na liście, rzeczywiście wpływa na wyniki wyborów. Ustalili, że pierwszy kandydat na liście zawsze stał na nieznacznie uprzywilejowanej pozycji, co w niektórych wyborach mogło mieć istotne znaczenie. Efekt przewagi pierwszego na liście był znacznie większy w wyborach na stanowiska mniej eksponowane, w latach kiedy była wysoka frekwencja i w wyborach, w których jedna z partii miała dużą przewagę. Trend ten widoczny jest zwłaszcza wśród wyborców, którzy nie posiadają informacji o kandydatach, lub którzy nie przywiązują wagi do wygranej konkretnego kandydata danej partii.
Jennifer Sinibaldi, Mark Trappmann I Frauke Kreuter “Which Is the Better Investment for Nonresponse Adjustment: Purchasing Commercial Auxiliary Data or Collecting Interviewer Observations?”
Metodolodzy poszukują zmiennych towarzyszących, które mogliby wykorzystać przy niwelowaniu skutków występowania braków odpowiedzi w badaniach sondażowych. Mają przy tym nadzieję znaleźć zmienne silnie skorelowane zarówno ze zmiennymi analizowanymi jak i skłonnością do brania udziału w badaniu. Zmienne towarzyszące mogą pochodzić z danych pomocniczych, które dostarczają informacji na temat zarówno osób kooperujących jak i uchylających się od odpowiedzi. Dwa rodzaje tego typu danych to obserwacje ankieterów (rodzaj paradanych) oraz dostępne na rynku dane o „małych obszarach” lub gospodarstwach domowych. Uwagi ankieterów wykorzystywane przy niwelowaniu skutków braków odpowiedzi mogą być specjalnie zaprojektowane, tak aby uzupełniały informacje o badanych zmiennych. Natomiast dane dostępne na rynku dostarczają szczegółowych charakterystyk „małych obszarów”, które mogą być skorelowane z wieloma badanymi zjawiskami. Analiza skupia się na dwóch źródłach danych, aby określić które z nich jest bardziej przydatne w procesie przewidywania wyników dla konkretnych sondaży, a tym samym które z nich spełnia kryterium dobrego źródła predykcji. Danymi wynikowymi analizowanymi w niniejszym artykule są oszacowania wielkości dochodów gospodarstw domowych uzyskane z samospisu oraz oszacowania wielkości zasiłków dla bezrobotnych z badania aktywności ekonomicznej ludności. Wyniki sugerują, że obecnie, w porównaniu z danymi które można pozyskać na rynku, obserwacje ankieterów są lepsze w przewidywaniu wyników badań, w szczególności w odniesieniu do subpopulacji badanych zbiorowości. Z tego powodu obserwacje ankieterów dostarczają więcej (dokładnych) informacji o prawdziwych wartościach i prowadzą do uzyskania lepszych wyników w uzupełnianiu danych. Prezentowane wyniki dostarczą cennych informacji zarówno badaczom chcącym poprawić dopasowanie danych z brakami odpowiedzi jak i kierownikom badań sondażowych.
- noty badawcze
Daniel Corstange “Foreign-Sponsorship Effects in Developing-World Surveys: Evidence from a Field Experiment in Lebanon.
Autor noty badawczej ocenia, jak na poziom uczestnictwa i reprezentatywności badań w krajach rozwijających się wpływa finansowanie ich z zagranicznych środków. W tym celu analizuje eksperyment badawczy przeprowadzony w Libanie, podczas którego zmieniany był domniemany sponsor badania np. uniwersytet i rząd. Z eksperymentu wynika, że sponsorowanie badań przez obce rządy zwiększa wskaźnik odmów, w przeciwieństwie do badań finansowanych przez uniwersytety. Autor noty twierdzi, że badania finansowane przez uniwersytety zapewniają bezstronne szacunki, a badania rządowe wyniki bardziej „Western friendly” niż w rzeczywistości. Ważenie danych z uwzględnieniem tych różnic, może je zniwelować, ale nie wyeliminuje całkowicie tego zjawiska.
Andrew Healy i Neil Malhotra “Partisan Bias among Interviewers”.
Badacze społeczni już dawno zaobserwowali, że cechy demograficzne ankieterów takie jak rasa czy płeć wpływają na wyniki ankiet, jak również na response rate. Autorzy noty próbują pójść o krok dalej i odpowiedzieć na pytanie: Czy cechy demograficzne wpływają również na wyniki badań telefonicznych? Analizując wyniki badań, w których strony (ankieter i respondent) ujawniały swoje cechy demograficzne przed przystąpieniem do badania, autorzy odkryli, że ankieterzy chętniej odnotowywali pozytywne cechy osób badanych o takich samych cechach demograficznych. Jednakowoż, autorzy noty stwierdzili, że nie ma dowodów na to, że wspólne cechy demograficzne ankietera i respondenta wpływają na autoocenę respondenta, udzielane przez niego odpowiedzi, ilość odpowiedzi pustych oraz błąd pomiaru.
Peter Lynn “Longer Interviews May Not Affect Subsequent Survey Participation Propensity”.
Badacze społeczni często zakładają, że obciążenie respondenta, związane z wypełnieniem kwestionariusza jest ważną determinantą wpływającą na chęć wzięcia udziału w badaniu, a długość wywiadu jest dobrym wskaźnikiem tego obciążenia. Jednak, istnieje zaskakująco niewiele dowodów na wpływ długości kwestionariusza na chęć uczestnictwa respondenta w kolejnych badaniach – zwłaszcza w przypadku badań typu face-to-face. W artykule przedstawiono wyniki eksperymentu, w którym respondenci brali udział w badaniu panelowym o różnych długościach pierwszej fali. Następnie respondenci zostali poproszeni o samodzielne wypełnienie kwestionariusza i wzięcie udziału w kolejnych falach badania. Dla każdego z występujących po sobie zadań, autorzy artykułu porównywali ile osób ukończyło powierzone zadanie, spośród tych, którzy mieli krótsze i dłuższe zadania w pierwszej fali badania. Autorzy nie znaleźli dowodu na to, że długość pierwszej fali wpływa na późniejszą skłonność respondentów do uczestnictwa w badaniu.
Roger Tourangeau, Stanley Presser i Hanyu Sun “The Impact of Partisan Sponsorship on Political Surveys”.
Chociaż powszechnie uważa się, że ujawnienie respondentom tematu lub sponsora badania, może powodować błędy pomiaru i wzrost wskaźnika odmów, to ostatnie badania wykazały, że jego wpływ na wyniki badań jest bardzo często niewielki. Jednakże, te badania nie obejmowały sponsorów o zbieżnych poglądach co badani, którzy potencjalnie w największym stopniu mogliby wpłynąć na wynik badania. Autorzy noty przeprowadzili trzy eksperymenty z sondażami politycznymi. W pierwszym sponsor badania był nieznany, w drugim znany i posiadał te same poglądy co badani, a w trzecim był znany, ale posiadał inne poglądy niż drugi. Badacze postawili tezę, że wyniki eksperymentu ujawnią znaczne różnice. Ku ich zaskoczeniu, wyniki wszystkich trzech eksperymentów okazały się niezwykle zbliżone, co prowadzi do konkluzji, że podczas sondaży politycznych, kwestia tego kto jest sponsorem badania nie jest tak istotna jak można by sądzić.
[1] osoby, który wywodzą się z kręgu kultury hiszpańskiej