Badanie "Jestem graczem" - co było dobrze, a co poszło nie tak?

Badanie "Jestem graczem" miało być punktem zwrotnym w dyskusjach o graczach, a tym samym stało się kością niezgody między znawcami tematu. Chodzi tutaj o dane, które według rzeszy osób niezbyt przystają do tego, co można spotkać w rzeczywistości. Tomek Popielarczyk wypunktował kilka takich niuansów i główny wniosek brzmi: "Gracz zbyt idealny". Czyta książki, chodzi do kina, wcale nie jest gruby, dobrze zarabia. Aż nieprawdopodobne.

W nas natomiast pokutuje stereotyp gracza niezbyt urodziwego, z pryszczami na twarzy, nieco otłuszczonego. W jego pokoju można znaleźć opakowania po jedzeniu, które jeszcze trochę i same wyjdą z pokoju. Gracz taki nie uprawia sportu, nałogowo żłopie energetyki, wsuwa pizzę, w BMI brakuje skali, a gdy wychodzi z pokoju, to najpierw próg przekracza jego brzuch - dopiero potem sam gracz.

Metoda dobra - ale z wadami

W raporcie z badania można wyczytać, iż badanie przeprowadzono metodą CAWI (Computer-Assisted Web Interview) - w tym wypadku respondent jest proszony o wypełnienie ankiety drogą elektroniczną. W przypadku takich badań wymogiem jest oczywiście dostęp do urządzenia podłączonego do Internetu. Z graczami tego problemu nie ma, więc pod względem samej grupy docelowej dla badania metoda jest jak najbardziej odpowiednia.

Metoda CAWI w metodologii badań społecznych uchodzi także za tanie rozwiązanie - wyklucza się udział ankietera w badaniu. Za gromadzenie odpowiedzi respondentów odpowiadają serwery, a ich "obróbka" jest bardzo prosta dzięki specjalistycznym programom do analizy badań ilościowych takich jak na przykład IBM SPSS. W rękach wprawnego badacza w bardzo krótkim czasie można uzyskać dane, które potem są interpretowane.

Czytaj dalej poniżej

Sniper: Ghost Warrior 3 i Lords of the Fallen 2 zapowiedziane. CI Games wchodzi w gry mobilne Tomasz Popielarczyk

Hearthstone, fantastyczna karcianka Blizzarda debiutuje na Androidzie Tomasz Popielarczyk

CAWI ponadto stwarza możliwość uatrakcyjnienia kwestionariusza wywiadu - jeśli chodzi na przykład o pytania sondujące znajomość pewnych produktów, czy reklam w mediach. Można w nich umieścić materiały filmowe lub obrazki, co znacznie pomaga w odpowiednim przeprowadzeniu badania. Dodatkowo, w CAWI nie ma ryzyka popełnienia błędu przez ankietera (bo jest on oczywiście wykluczony w toku badania CAWI), a wszelkie błędy w kwestionariuszu mogą być łatwo poprawione (w PAPI błąd w badaniu jest ogromnym problemem i generuje dodatkowe koszty).

W badaniu "Jestem graczem" dzięki atrakcyjności badania i bardzo dużym nakładom na promocję przedsięwzięcia ominięto nieco jedną z wad metody CAWI, jaką jest niski poziom responsywności. Równie dobrze poradzono sobie także z jedną z zamierzchłych już wad tej metody, jaką jest reprezentatywność tylko dla populacji, która posiada adresy mailowe. Akcja rozegrała się przede wszystkim w social media, gdzie nie dość, że została świetnie wypromowana, to w dodatku dane potencjalnych respondentów były bardzo aktualne.

W CAWI jednak nie mamy pełnej kontroli nad tym, kto tak naprawdę wypełnia ankietę. Jeżeli ankietę skierowano głównie do graczy, może się okazać, że część respondentów tymi graczami nie była. Chociaż w tym wypadku definicję "gracza" potraktowano bardzo szeroko i nim w świetle badania mógł się stać właściwie każdy, choćby grał tylko "w ptaszki" na urządzeniu mobilnym. Także i zawarte w kwestionariuszu pytania służące określeniu cech społeczno-demograficznych (metryczka) zawierające takie zagadnienia jak zarobki, waga, wzrost, itp. to jak proszenie się o podanie nieprawdziwych odpowiedzi.

Respondenci kłamią

W Instytucie, gdzie akurat jeszcze pobieram naukę instruowano nas przy okazji badań rynku i opinii publicznej, że jednym z zagrożeń dla badania może być nieprawdziwość danych pobranych od respondentów. Najwięcej kłamiemy właśnie w pytaniach o zarobki, bardzo często są "fałszowane" przez odpowiadających na pytania preferencje polityczne. Jako jeden z bardziej znamiennych przykładów na to, że respondenci lubią lekko podkoloryzować wyniki jest fakt, iż mężczyzna ankietowany przez młodą, ładną kobietę i pytany o sympatię do konkretnych partii politycznych będzie wstydził się na przykład głosowania na PSL - partię kojarzoną ze środowiskiem wiejskim. Aby jej się nieco przypodobać, prawdopodobnie wybierze partię, która uchodzi za nowoczesną. Jest to co prawda inny typ badania niż powyżej, zachodzi tutaj także zjawisko asymetryczności i celowości relacji między respondentem, a ankieterem.

Inny przykład, również bardzo znamienny i ciekawy to badanie, w którym mężczyźni mieli podać długość swoich przyrodzeń. Pomiary były wykonywane przez samych respondentów i okazało się, że zachodzą duże rozbieżności między tym, jak odpowiadali uczestnicy, a tym jakie dane uzyskali badacze, którzy sami mierzyli wielkość przyrodzeń poproszonych o udział w badaniu. Jak się zapewne domyślacie - średnia wielkość była większa w przypadku "własnoręcznego" pomiaru respondentów.

W przypadku tego badania co prawda nie został wywołany "efekt ankietera", ale i brak osoby zbierającej odpowiedzi od respondentów mógł stworzyć warunki ku temu, by podać nieprawdziwe dane. W końcu wszyscy chcemy uchodzić za osoby dbające o czystość, piękne, wysportowane, bogate, prawda? Pytania metryczkowe o wzrost, wagę, zarobki i inne, w których występuje ryzyko kłamstwa respondenta z pewnością zostały potraktowane nieco "luźno" przez odpowiadających na pytania.

Co można było zrobić lepiej?

Rozwiązanie, które za chwilę podam zapewne wpłynęłoby na to, jak kosztowo wyglądałaby realizacja badania. W badaniach społecznych, jeżeli szczególnie zależy nam na jakości danych ilościowych używa się tzw. triangulacji, gdzie łączy się kilka metod badawczych w ramach jednej hipotezy aby zniwelować negatywne efekty wad sposobów pozyskiwania danych. W tym wypadku triangulacji poddałbym jedynie metody pomijając dane (pozyskiwanie danych w innych miejscach i odstępach czasowych), badaczy oraz teorie.

W triangulacji można z powodzeniem łączyć metody ilościowe i jakościowe, stad przy obraniu jednej hipotezy pokusiłbym się o dodanie do tego badania obserwacji uczestniczącej, przy czym powinna ona być kontrolowana przez kwestionariusz obserwacji - skoro mamy do czynienia z danymi statystycznymi, to akurat ten typ byłby jak najbardziej trafny.

Nie ma złych statystyk, są tylko źle przeprowadzone badania

Mówi się, że statystyki kłamią. Nie - statystyki mówią tylko o tym, co zostało zebrane w toku badania. A jeżeli coś jest nie tak w samym badaniu, statystyka nie pomacha magiczną różdżką i nie pokaże niczego innego. Dane statystyczne to tylko efekt końcowy, który widzimy my, problemy zaczynają się przeważnie na etapie projektowania badania.

Badanie przeprowadzone przez IPSOS nie jest złe. Ba, jest wręcz bardzo dobre do określenia preferencji graczy jeśli chodzi o same gry. Nie ma też problemu z określeniem cech demograficznych tej grupy. Gorzej jednak, gdy kogokolwiek zapytamy o wagę, wzrost, zarobki i inne drażliwe rzeczy. W tym wypadku badanie narażone jest na podanie nieprawdziwych danych przez respondenta, które mogą nieco wyidealizować cechy badanej grupy.

Grafika: 1, 2, 3