Rozmowa z Andrzejem Garapichem - o zmianach w megapanelu, PBI i konflikcie z Gadu Gadu

Bez zbędnych wstępów zapraszam do przeczytania wywiadu z Andrzejem Garapichem prezesem zarządu PBI. Myślę, że w kontekście ostatnich wydarzeń i ostrej krytyki ze strony Gadu Gadu materiał ten będzie dla wielu osób bardzo ciekawy.

Panie Andrzeju na początku chciałbym wyjaśnić jedną sprawę. Czy trzeba płacić za to aby witryna była pokazana w "sławnej" w branży internetowej tabelce Megapanel?

Nie. Każda witryna, którą odwiedzi conajmniej 45 panelistów w miesiącu, zostaje uwzględniona w wynikach Megapanelu za dany miesiąc. Tak więc pokazanie witryny i liczby jej użytkowników
nie wiąże się z żadnymi opłatami.

Granica 45 panelistów została tak postawiona, aby z jednej strony w Megapanelu znalazło się jak najwięcej witryn, a z drugiej uprawnione było jakiekolwiek wioskowanie statystyczne. Można sobie wyobrazić, że gdyby ową granicę postawiono na poziomie np. 2 (dwóch) panelistów i tylu ją odwiedziło (różnej płci), to ktoś mógłby wyciągnąć wniosek, że daną witrynę odwiedza 50% kobiet i 50 mężczyzn :-)

Może wyraziłem się niezbyt precyzyjnie - chodziło mi o te witryny, które w ostatnim badaniu nie mają przedstawionych parametrów takich jak czas na stronie i ilość odsłon.

Witryny, które nie mają przedstawionych wszystkich parametrów, nie muszą płacić za to, żeby się znaleźć w badaniu. To wynika zresztą z mojej odpowiedzi na poprzednie pytanie. Rozumiem, że pytanie brzmi: czy muszą zapłacić za to, żeby mieć pokazywane niektóre parametry. PBI, aby podać te dane, musi skądś je wziąć. Nie mamy innego źródła, niż sama witryna. Bez danych pochodzących bezpośrednio od witryny, nie możemy tego zrobić. Innymi słowy: aby podać liczbę odsłon witryny www.beton.pl czy www.motyle.com, musimy mieć dostęp do systemu site-centric tej witryny. Bez tego, nie jesteśmy w stanie podać wiarygodnej liczby odsłon.

Pozwolę sobie użyć takiego porównania: wyobraźmy sobie, że Megapanel podaje przebieg samochodów w Polsce. Nie mamy innego sposobu, aby zdobyć tą wiedzę, jak raz na jakiś czas zajrzeć do auta i spisać licznik. Mówimy po prostu: jeśli chcesz, aby przebieg Twojego samochodu znalazł się w tabelce "Megapanel", pozwól nam raz na miesiąc spojrzeć na jego licznik. Opłata więc nie jest za pokazanie samego przebiegu Twojego auta, ale za przyjazd technika, który raz na miesiąc spisze licznik. Dotychczas te czynności opłacane były przez PBI. Trudno mieć do nas pretensje, że oczekujemy, że każdy sam zapłaci za przyjazd osoby, która spisze licznik auta. Tylko tak możemy posiąść wiedzę o przebiegu aut w Polsce.

Kończąc ta metaforę i wracając do internetu: opłata za audyt site-centric jest właśnie opłatą za przyjazd takiego technika. To koszt systemów site-centricowych firmy Gemius i opłata za łącza przesyłowe. To nie jest więc "opłata za umieszczenie danych w tabelce", ale opłata za działanie systemu pomiarowego po prostu.

Dlaczego taka zmiana w prezentacji wyników ma miejsce akurat teraz, kiedy PBI jest pod "obstrzałem" oskarżeń stawiany przez Gagu Gadu? Przyzwyczailiśmy się, że Megapanel od lat pokazuje pełne dane nawet dla witryn, które nie korzystają z site-centric.

O zmianie informujemy od października, kiedy to została podjęta decyzja o zmianach w metodologii. Gemius informował swoich klientów - odbiorców Megapanelu, wspólnie prowadziliśmy akcje uświadamiające. Osobno szkolone i informane były osoby bezpośrednio używające aplikację alityczną. Od października było wiadomo, że 20 marca pokażą się
wyniki w nowej wersji. Zwracam uwagę, że zmiana nie polegała tylko na ograniczeniu danych dla witryn nieaudytowanych. Ważniejsza jest dodanie liczby "Unique Users" (czyli cookie) dla witryn audytowanych, i to zarówno tych z Polski, jak z zagranicy. To jeden z częściej podnoszonych zarzutów wobec Megapanelu - obcięcie ruchu z zagranicy. Teraz już podajemy liczbę unique users z zagranicy.

Wydaje mi się, że kilka miesięcy, które minęły od października, to wystarczające wyprzedzenie, by dać witrynom czas na podjęcie decyzji - merytorycznej i finansowej. Każda z nich mogła wybrać: albo chce pokazać swoje wyniki audytu site-centric (wraz z cookies-ami) i ponieść z tego tytułu opłatę, albo zrezygnować licząc się z tym, że nie będzie mogło pokazać danych, jak liczba odsłon i czas. Dzisiaj, po premierze tych wyników możemy powiedzieć, że większość wydawców zdecydowała się poddać audytowi.

Owszem - Megapanel dotychczas pokazywał dla witryn nieaudytowanych szacunkową liczbę odsłon i oszacowany czas. Pod każdą tabelką, którą publikowało PBI lub Gemius znajdowała się gwiazdka - uwaga, wyniki dla witryn nieaudytowanych obarczone są błędem statystycznym wynikającym z przeliczania zachowań panelistów na populację. Gdzie się dało, staraliśmy się informować, że takie parametry jak liczba odsłon i czas dla witryn nieaudytowanych opiera się na szacunkach i przy wnioskowaniu na ich podstawie (a co dopiero przy podejmowaniu decyzji finansowych!) powinno się zachować szczególną ostrożność. Internet rozwija sie coraz szybciej. Poprawne mierzenie odsłon w takich technologiach jak AJAX czy Flash wymaga modyfikacji metodologii badania. Te wszystkie sprawy spowodowały, że - w trosce o jakość wyników - postanowiliśmy podawać tylko takie dane, do których mamy zaufanie. Dane o liczbie odsłon, wyliczane tylko na podstawie zachowań panelistów, po prostu przestało spełniać kryterium jakości. Powiedzieliśmy witrynom na rynku: - jeśli chcesz, żeby w Megapanelu były dane o liczbie twoich odsłon - załóż skrypt pomiarowy, który je zlicza. Bo bez tego nie umiemy policzyć, ile tych odsłon naprawdę masz. Tak – dotychczas tą liczbę szacowaliśmy i - z perspektywy czasu już wiemy - od jakiegoś czasu był to błąd. Po jego dostrzeżeniu wycofaliśmy się z podawania danych szacunkowych.

Rozumiem, że mała sugestia w formie nie pokazania szacowanych wyników pomogła tym którzy do tej pory nie widzieli sensu w płaceniu za audyt. Pozostaje jednak pytanie co z zagranicznymi podmiotami, których jest coraz więcej w wynikach megapalenu?

Bardzo proszę o zwrócenie uwagi, że opłaty ponoszone są za technologię pomiarową, a nie za fakt publikacji wyników. To bardzo istotna różnica.

Co z zagranicznymi podmiotami? Nie bardzo widzę, gdzie leży problem. Te które mają swoje przedstawicielstwa w Polsce, nie mają problemów z opłatami za badanym objęcie badaniem. To powszechna w świecie praktyka - wszyscy rozumieją, że trzeba płacić za bycie badanym. Przecież w badaniach prasy brane pod uwagę są tylko te tytuły, które za to płacą. W wynikach Polskich Badań Czytelnictwa (PBC) nie ma np. wyników Naszego Dziennika i kilku innych, nieraz znaczących tytułów. ND ma prawdopodobnie niebagatelny zasięg, ale jedyne dane pochodzą od samego Wydawcy. Podobnie jest z telewizją - każda stacja która chce być opomiarowana w badaniach AGB/Nielsena, musi zapłacić, i to słono. Podobnie jest przecież w wynikach badania Komitetu Badań Radiowych (choć trzeba przyznać, że tu jest wyłom - Radio Publiczne nie płaci za badania KBR-u, ale jego słuchalność pojawia się w komunikatach prasowych). To dotychczasowa praktyka badania internetu odbywała się wbrew zwyczajom i logice. Byliśmy w świecie badań internetu odmieńcem, na którym niewielka część witryn płaciła za audytowanie praktycznie całego rynku. Nieraz mi się zdarzało, kiedy opowiadałem o tym na międzynarodowych konferencjach, że słuchacze z niedowierzaniem pukali się w czoło - "you must be crazy" - mówili. Ciężko było im zrozumieć powody takiej sytuacji.

Ale wracając do podmiotów zagranicznych - jeśli serwis ma swoje przedstawicielstwo w Polsce i tu sprzedaje reklamy - nie ma żadnego problemu z wykupieniem audytu. Jeśli nie ma swojego przedstawiciela, najczęściej nie konkuruje też o reklamy planowane w oparciu o Megapanel. Dość ciężko mi odszukać serwis, który działa na rynku display w Polsce i nie ma choćby biura sprzedaży reklam. Jeśli taki jest - bardzo proszę o jego wskazanie, trzebaby sie przyjrzeć, jak oni to robią.
Gdyby udało się przekonać reklamodawców do kupowania powierzchni reklamowej bez pokazywania wyników badań, byłaby to nowa jakość na rynku.

Pytanie tylko czy PBI (Polskie Badania Internetu) powinno pokazywać tylko tych którzy sprzedają w Polsce reklamy? Co z firmami takimi jak:Ebay, Amazon, Orange, Myspace, ASK (i pewnie lista ta będzie się powiększać)? Proszę mnie źle nie zrozumieć, zgadzam się z tym że za usługę trzeba płacić. Czy jednak brak danych dla tak czołowych graczy branży internetowej na świecie nie wpłynie negatywnie na postrzeganie tego badania przez końcowych odbiorców?

Ależ te witryny są pokazywane, a to, co możemy zmierzyć - jest podawane. Proszę spojrzeć na wyniki badań w innych krajach, w których robi je Gemius. Są kraje, gdzie witryny nieaudytowane w ogóle nie są pokazywane. Proszę wyobrazić sobie ranking Megapanelu bez takich sitów jak google, youtube, facebook, wikipedia. Dopiero musiałbym tłumaczyć, z czego to wynika. A tymczasem Duński odpowiednik PBI - FDIM własnie tak robi i jakoś nikt nie ma kłopotu z tym, że wyniki badań Gemiusa nie obejmują Googla.

Pyta Pan, czy pokazywanie tylko niektórych parametrów nie wpłynie źle na postrzeganie badania PBI. Pytanie możnaby odwrócić: czy pokazywanie tych parametrów wiedząc, że są obarczone dużym błędem, nie wpłynęłoby na to badanie jeszcze gorzej?

Oczywiście, że PBI chciałoby pokazywać wszystkich, w taki sam sposób. Problemy zaczynają się wtedy, kiedy trzeba za to zapłacić. Na razie płacą - większość wydawcy, część odbiorcy tj. użytkownicy badań. Nikt inny nie kwapi się niestety do płacenia za badania mediów. W Wielkiej Brytanii jest tak, że za badania płaci tam częściowo OPCOM - czyli odpowiednik naszej Krajowej Rady Radiofonii i Telewizji oraz Urzędu Komunikacji Elektronicznej. Ciekawe, jaka byłaby reakcja branży internetowej w Polsce (która, mimo czarnowidztwa działa według wolnorynkowych zasad), gdyby ktoś jej dał alternatywę: dajemy badania za darmo w zamian za poddanie się regulacjom podobnym do tych, jakie ma telewizja ze strony KRRiTV :-)

Ok, zostawmy w takim razie temat opłat i prezentacji wyników w megapanelu. Czy może Pan powiedzieć o co chodzi w sporze z Gadu Gadu? Przedstawiciele tej firmy w dość bezpardonowy sposób rzucają oskarżenia w stronę PBI twierdząc, że macie wpływ na wyniki i to wykorzystujecie, że nie radzicie sobie z badaniami radia internetowego i aplikacji itp.

Wydaje mi się, że w sporze z GG, istotną rolę emocje. Moim zdaniem jest to mało profesjonalne i wolę się skupić na elementach metodologicznych i technologicznych.

Najważniejsze jest to, że w Megapanel nie zajmuje się badaniami radia w internecie. Megapanel to badanie oglądalności witryn internetowych, a nie radia. Badaniem radia w sieci zamierzamy zając się dopiero w przyszłości. Trudno więc odpowiedzieć na takie pytanie - "GG twierdzi, że nie radzicie sobie z badaniami radia internetowego", skoro my tego radia nie badamy. Wyciąganie wniosków o liczbie słuchaczy na podstawie liczby osób, które odwiedziły witrynę internetową stacji (a tylko takimi danymi dysponuje PBI) jest zupełnie nieuprawnione.

Jedną rzecz muszę wyjaśnić na wstępie - PBI jako takie nie mają i nie będą same dysponowały żadną technologią badawczą. PBI w imieniu wydawców poszukuje spółek i technologii badawczych, wybiera optymalne z punktu widzenia rynku rozwiązania, negocjuje z nimi warunki współpracy, dba o gwarancje finansowe projektu, podpisuje umowę i weryfikuje jej należyte wykonanie. Ale to nie PBI w sensie technologicznym bada internet i jego użytkowników. To nie PBI zbiera dane i je przetwarza.

To nie PBI zajmuje się pisaniem aplikacji analitycznej czy softwaru do zbierania danych o aktywności panelistów. To nie PBI jest dysponentem technologii badania streamu czy aplikacji. To wszystko nie jest rolą PBI.

W ramach naszej działalności, od ponad roku przygotowujemy się do badania streamu. To znaczy robimy research i wspólnie z Komitetem Badań Radiowych przygotowujemy się do wdrożenia takiego badania. Jak sobie wyobrażam wdrożenie takiego projektu? Aby standard badania miał sens, musi mieć powszechną zgodę co do jego kształtu. Nie ma sensu wdrażać badania, które akceptuje tylko część rynku. W przeciwnym razie wtedy jego odbiorcy - na przykład domy mediowe i reklamodawcy nie dostają spójnej informacji na temat rzeczywistości medialnej. Dopiero po uzyskaniu tej powszechnej zgody w gronie przedstawicieli branży, na temat kształtu tego badania, można rozpocząć jego realizację.

Jeśli chodzi o badania streamu audio, to identyfikacja tych istotnych graczy jest stosunkowo prosta - to radia tradycyjne (wszystkie
próbują zająć miejsce na rynku radia on-line) oraz ci spośród wydawców internetowych, którzy usiłują zająć znaczącą pozycję w wśród stacji on-line. To nie jest znacząca liczba nadawców, wszystkich można policzyć na palcach dwóch rąk. Wydawałoby się, że to jest idealna sytuacja, żeby w ramach tych spółek wypracować zasady prowadzenia takiego badania, a następnie wybrać najlepszy instytut badawczy, który je zrealizuje zgodnie z wytycznymi. Platformą, która zajęła się stworzeniem takiego "opisu oczekiwań" to Inicjatywa na Rzecz Badania Radia w Internecie (IRBRI). Uczestniczyły w niej wszystkie podmioty, które opisałem powyżej, w tym oczywiście także Gadu-Gadu. Obecnie na IRBRI trwają przesłuchania instytutów badawczych, zarówno polskich jak i zagranicznych, pod kątem oferowanych technologii i rozwiązań. Wdrożenie cyklicznego badania mediów zawsze trwa długo - chodzi wszak o wybór technologii badania radia w sieci na długie lata, a nie na przyszły miesiąc. Trzeba to zrobić to porządnie, zgodnie z regułami sztuki badawczej, bez stosowania rozwiązań tymczasowych.

W trakcie tych działań w ramach IRBRI, Gadu-Gadu pozwalało sobie na niezrozumiałe działania badawcze. Wielokrotnie tłumaczyliśmy, dlaczego dla wiarygodności inicjatywy, tak ważna jest neutralność wobec wszystkich instytutów badawczych, potencjalnych wykonawców przyszłego badania.. Dlaczego komunikaty prasowe wysyłane przez jednego z uczestników inicjatywy, podające nieprawdziwe dane odnośnie badania, szkodzą wszystkim pozostałym. Niestety Gadu-Gadu zachowywało się tak, jakby chciało storpedować aktywność inicjatywy, jakby im zależało na braku rzetelnego badania radia w sieci. W pewnej chwili pozostali członkowie IRBRI podjęli decyzję, że najlepiej będzie, jak wykluczymy Gadu-Gadu z inicjatywy. Nawiasem mówiąc, aktywność przedstawicieli Gadu-Gadu (poza jej krytykowaniem) w ramach IRBRI była żadna, więc inicjatywa nic nie straciła wskutek ich wykluczenia.

Komunikaty prasowe wysyłane przez GG zawierały niestety elementarne błędy rzeczowe, mylono w nich na przykład pliki cookies z użytkownikami internetu. Innym razem zdarzyło się, że GG wliczało sobie słuchających stacji przez aplikację (np. Winamp), a "zapominało" o ich doliczeniu konkurentom. Dość kuriozalnie wyglądała informacja, że w jednym z badań GG wypada najlepiej na rynku, skoro cała branża wiedziała, że pozostałe stacje nie są tym badaniem objęte. Nie chciało mi się wierzyć, że za takimi komunikatami stała jakaś rzetelność badawcza. Oceniam to jako chęć wywołania "szumu informacyjnego".

W sumie szkoda, bo gdyby nie taka niekonstruktywna działalność Gadu-gadu, standard badania, obejmujący wszystkich uczestników rynku mógłby powstać znacznie wcześniej. Niemniej działania w ramach IRBRI trwają, kończymy przesłuchania oferentów, mam nadzieję, że niebawem badanie radia on-line ujrzy światło dzienne. I cały czas mam nadzieję, że GG zrozumie, że współpracując przy konstrukcji badania, można zyskać znacznie więcej niż dążąc do konfrontacji miedzy różnymi badaniami.

Myślę, że wyczerpaliśmy dogłębnie temat badań internetu, działalności PBI i słynnej tabletki "megapanel" - dziękuję bardzo za rozmowę.