„Diagnoza Społeczna” jest cyklicznie przeprowadzanym badaniem panelowym, którego celem jest wnioskowanie jednocześnie o dwóch populacjach generalnych – populacji gospodarstw domowych oraz populacji mieszkańców tych gospodarstw domowych. Łącznie przeprowadzono dotychczas 8 rund badania w 2000, 2003, 2005, 2007, 2009, 2011, 2013 i 2015 roku. Powstała dzięki staraniom Rady Monitoringu Społecznego zrzeszającej grupę badaczy zajmujących się projektem od strony merytorycznej.
„Diagnoza Społeczna” składa się z dwóch równoległych badań. W pierwszym, informacje są pozyskiwane od jednego przedstawiciela gospodarstwa domowego najlepiej zorientowanego w sytuacji gospodarstwa. Wynika z tego, iż dane na temat wszystkich mieszkańców i ich sytuacji materialnej są zbierane pośrednio. Zastosowany w tym przypadku sposób pozyskiwania danych może mieć niepożądane konsekwencje dla jakości późniejszych oszacowań parametrów.
Drugie badanie dotyczy jakości życia osób w wieku powyżej 16 lat, zamieszkałych na terenie Polski. W tym przypadku informacje są zbierane bezpośrednio od wszystkich dostępnych mieszkańców gospodarstwa domowego spełniających kryterium wieku. Oznacza to, że w obrębie jednego mieszkania respondenci nie są losowani. W badaniu uczestniczą wszystkie osoby, które wyrażą zgodę na uczestnictwo. Trzeba przy tym zauważyć, że skłonność do uczestnictwa może zależeć od pewnych cech respondenta. W takiej sytuacji wnioskowanie o parametrach rozkładów niektórych zmiennych na podstawie otrzymanych danych jest obarczone błędem wynikającym z faktu, że w próbie znalazłby się wyłączenie określony rodzaj osób.
Dobór gospodarstw domowych został przeprowadzony w zgodzie z założeniami schematu losowania Hartleya-Rao. Gdyby pominąć fakt, że w „Diagnozie Społecznej” wykorzystywano obserwacje zastępcze, to zastosowana procedura doboru obserwacji pozwalała wykorzystać, dla poszczególnych warstw populacji, stosunkowo proste estymatory wartości globalnej i średniej oraz odpowiednie estymatory błędów standardowych o pożądanych własnościach. Niewątpliwie jest to dużą zaletą zastosowanej schematu losowania gospodarstw domowych.
Dobór respondentów indywidualnych został przeprowadzonych w mniej udany sposób. Poważną komplikacją w tym przypadku było dobieranie do próby wszystkich dostępnych, należących do badanej populacji mieszkańców wylosowanych gospodarstw domowych. Takie postępowanie powodowało, że schemat doboru obserwacji nabierał charakteru losowania wielostopniowego, zespołowego, w którym różnoliczne zespoły były losowane z równymi prawdopodobieństwami. W rezultacie utracono możliwość prostego obliczenia estymatorów poszukiwanych parametrów o pożądanych własnościach, jakie dawał schemat losowania Hartleya-Rao. Procedurę doboru respondentów indywidualnych należy w związku z tym ocenić jako daleką od optymalnej.
Poważnym problemem jest także brak informacji: o przynależności poszczególnych obserwacji do warstw populacji oraz jednostek LPS (obwodów spisowych i jednostek statystycznych lub ich zespołów), wielkości warstw oraz LPS, a także prawdopodobieństwie wylosowania poszczególnych jednostek LPS oraz LDS (mieszkań). Brak tych danych całkowicie uniemożliwia wykorzystanie własności, jakie potencjalnie dawała zastosowana w badaniu procedura doboru próby.
Ogólnie można więc powiedzieć, że schemat losowania obserwacji do „Diagnozy Społecznej”, choć mogły prowadzić do wylosowania próby na podstawie której wnioskowanie o populacji byłoby stosunkowo nieskomplikowane, to ostatecznie, na skutek zastosowania kilku rozwiązań mających w zamyśle poprawić trafność wyników, ostatecznie przyczynił się do obniżenia wiarygodności otrzymywanych wyników badania.
Poziom realizacji prób „Diagnozy Społecznej” zdecydowanie się obniżał w kolejnych latach. Pomimo stosowania prób rezerwowych, nie udało się zahamować tego procesu i w rezultacie w ostatnich edycjach badania około 20% wszystkich wylosowanych mieszkań nie znalazła się w próbie. W konsekwencji ubytki w zbiorze danych były duże zarówno w przypadku gospodarstw domowych, jak i respondentów indywidualnych. Podobnie działo się w przypadku prób panelowych. Zjawisko „ścierania się” tych prób przybrało bardzo dużą skalę. W rezultacie już w pierwszym okresie, gdy próba była wykorzystywana do porównań międzyokresowych, ubytki obserwacji w stosunku do przebadanej próby były znaczne. Niestety w następnych okresach sytuacja ulega dalszemu pogorszeniu. Powstaje pytanie, na ile otrzymane próby są rzeczywiście reprezentatywne dla populacji. Z całą pewnością można powiedzieć, że w kolejnych rundach „Diagnozy Społecznej” możliwości formułowania uogólnień na całą populację są co raz bardziej ograniczone. Szczególnie utrudnione może być tworzenie analiz międzyokresowych, ponieważ jak można zauważyć, ogromna część lub nawet większość jednostek obserwacji dobranych do tych prób była niedostępna w kolejnych rundach badania.
Kolejną kwestią jest reprezentatywność próby dla populacji w danym okresie. Należy przypomnieć, że „Diagnoza Społeczna” była badaniem reprezentatywnym, które z założenia ma służyć do wyznaczania przedziały ufności „obejmujących” z pewnym założonym prawdopodobieństwem, poszukiwane parametry rozkładów analizowanych zmiennych. Rodzi się jednak pytanie, czy przy tak wielu niedostępnych jednostkach obserwacji, udało się zachować chociaż część początkowo postulowanej dokładności badania. Dodatkową wątpliwość wzbudza wykorzystanie prób rezerwowych. W przypadku występowania różnic między rozkładami analizowanych zmiennych wśród zbiorowości jednostek dostępnych i niedostępnych, stosowanie jednostek rezerwowych może być zupełnie nieskuteczne. Oczywiście nie należy wykluczać, że w przypadku niektórych zmiennych, zastępowanie niedostępnych obserwacji przy pomocy obserwacji pochodzących z tego samego małego obszaru może przynieść pewne korzyści. Niestety dotyczy to wyłącznie zmiennych, których zróżnicowanie jest niewielkie w obrębie niewielkich grup obserwacji. Niestety do takich zmiennych z pewnością nie należą, bardzo często analizowane w naukach społecznych, opinie i postawy, które były także przedmiotem badania „Diagnoza Społeczne”.