W ostatnim tygodniu pojawiły się dwa raporty (Gemius i Spicy Mobile) obrazujące stan polskiego mobile. Niestety żaden z nich nie może być wiarygodny i wykorzystany przez reklamodawców do podjęcia działań reklamowych. Co gorsze, tak naprawdę nie wiadomo, kiedy doczekamy się wiarygodnych badań z prawdziwego zdarzenia.
Merytoryczna masakra raportu o mobilnych aplikacjach od Gemiusa i Spice Mobile
Autorem tekstu jest Piotr Biegun CEO WhallaLabs.pl & MD Cogision.com
Na polskim rynku wciąż brakuje solidnych opracowań odnoszących się do branży mobile, które mogłyby dostarczyć wiarygodnych danych odnośnie popularności aplikacji mobilnych, wykorzystywanych systemów mobilnych i ich wersji.
Z tym większym zainteresowaniem sięgnąłem po dwa raporty, które ukazały się w ostatnim czasie - raport Gemius/PBI, zawierający statystyki dla aplikacji mobilnych oraz raport Spicy Mobile/Mobigate, również prezentujący aplikacje mobilne popularne w Polsce.
Oba raporty uwzględniają listę najpopularniejszych aplikacji mobilnych w Polsce w grudniu 2016 roku, zawierają liczbę ich pobrań oraz zasięg. Po ich analizie okazało się jednak, że dane z obu raportów znacznie od siebie odbiegają, a w niektórych przypadkach prezentują dane, które wzbudziły moje wątpliwości.
Różnice w danych Gemius/PBI vs Spicy Mobile/Mobigate
Każde z tych badań ma inna metodologię, ale jeśli byłyby oparte na rzetelnych danych to wyniki powinny być podobne. Niestety, przedstawione wyniki są ze sobą sprzeczne, w danych widać sporo niezgodności, a co najgorsze, nie są uwzględnione dane z rynku i oficjalnych raportów, co boli jeszcze bardziej.
Gemius raportuje, że w Polsce mamy 20,9 mln użytkowników smartfonów i tabletów. W jego TOP 20 najlepszych aplikacji znalazły się dwie aplikacje lokalne: OLX i Allegro oraz aplikacja Vlingo, która nie jest dostępna do ściągnięcia na Androidzie i iOS od kilku lat (o tym dalej).
Z drugiej strony natomiast, Spicy Mobile w swoim raporcie pokazuje, że z Androida w Polsce korzysta około 17,7 mln osób, a dwie największe aplikacje w Polsce to OLX i Allegro. Na pierwszy rzut oka wszystko wygląda w porządku, bo widzimy znane marki, ale jeśli zaczniemy analizować poszczególne dane, to okaże się, że nie można na nich polegać.
1. Sprzeczne dane co do ogólnej liczby użytkowników aplikacji mobilnych w Polsce
Do analizy weźmiemy wejściowe dane:
- Gemius/PBI
Liczba internautów mobilnych - 20,9 mln
Liczba użytkowników aplikacji OLX - 3 939 224
Liczba użytkowników aplikacji Allegro - 3 099 179 - Spicy Mobile/Mobigate
Liczba użytkowników z systemem Android - 17,7 mln
Liczba użytkowników aplikacji OLX - 2 183 735
Liczba użytkowników aplikacji Allegro - 1 493 106
Zakładając, że dane są poprawne, to 3,2 mln osób (Internauci Gemius/PBI - użytkownicy Android Spicy Mobile/Mobigate) odpowiada za 1 755 489 użytkowników aplikacji OLX oraz 1 606 073 użytkowników aplikacji Allegro.
Oznacza to, że na pozostałych platformach mobilnych (poza Androidem) penetracja obu brandów jest na poziomie ponad 50%, co oznacza, że co druga osoba jest użytkownikiem tych aplikacji oraz, że pozostałe platformy stanowią ponad 40% całego user base.
Jest to mało prawdopodobne, ponieważ wg danych z raportu Jestem Mobi 2015 struktura udziałowa poszczególnych systemów aplikacji OLX i Allegro wyglądała tak:
Allegro:
- iOS: 625 000 - 13,5%
- WP: 520 000 - 11,2%
- Android: 3 500 000 - 75,3%
OLX:
- iOS: 260 997 - 10,5%
- Windows Phone: 190 954 - 7,6%
- Android: 2 038 442 - 81,9%
Wg danych deklaratywnych sprzed dwóch lat, posiadacze sprzętu z systemem Android stanowili około 80% user base obu aplikacji, a w publikowanych rankingach udział ten jest poniżej 60%. Jest to sprzeczne z danymi, które my obserwujemy u naszych klientów lub z tymi, które są pokazywane w oficjalnych raportach i trendach.
2. W raporcie Gemius/PBI istnieje aplikacja, która jest nie do zainstalowania i pobrania od co najmniej dwóch lat
W danych z raportu firmy Gemius/PBI, w Top 20 aplikacjach mobilnych znalazła się aplikacja o tajemniczej nazwie Vlingo. I tak naprawdę tutaj zaczynają się prawdziwe schody.
Aplikacja Vlingo była prekursorem Siri i Google Now, a swoje sukcesy odnosiła w latach 2010 - 2012. Rozpoznawała komendy głosowe oraz pozwalała wykonywać przypisane do nich akcje. Pomimo sukcesów pozostawała w sporze z firmą Nuance, która oskarżała ją o wielokrotne naruszenie patentów. Spór zakończył się na tym, że w 2011 roku Vlingo zostało kupione przez firmę Nuance, a w wakacje 2012 roku ostatecznie wcielone w jej struktury.
Z faktów, które udało mi się znaleźć:
- Sądzać z wpisów na forum Android Central oraz Lifehacker, wersja Androida działa najpóźniej do 2013 roku i została po przejęciu włączona w wersję mobilną asystenta firmy Nuance o nazwie Dragon Mobile Assistant, który jest do ściągnięcia do dzisiaj.
- Ostatnie informacje, które pozwalałyby potwierdzić, do kiedy aplikacja była faktycznie dostępna, to webarchive.org, gdzie ostatni screen jest dostępny z dnia 10.15.2012. Później strona była już niedostępna. Dane z tego dnia wskazują na 5 do 10 mln pobrań oraz wersję 3.6.2.
- W poszukiwaniu dostępnych APK, ostatnia dostępna wersja to 3.6.3 i dostępna była do ściągnięcia na początku 2014 roku, ale jest to wersja, która był opublikowana jeszcze w 2012 roku.
- Nuance oficjalnie przestał wspierać system iOS 01.01.2014 roku.
Patrząc na te dane wydaje się, że aplikacja żyła do 2014 roku. Pytanie skąd w raporcie z 2016 roku takie wysokie miejsce aplikacji, która została zamknięta jakieś dwa lata temu?
W 2012 roku Samsung zaprezentował S Voice - swój system komend głosowych. Jak się szybko okazało, dostawcą technologii była firma Vlingo, która działała w tej formie nieprzerwanie do 2014 roku. Wg informacji dostępnych na Wikipedii, od modelu Samsung S5 (kwiecień 2014) oraz wersji systemu Android 4.4.2, na telefonach tej firmy została wypuszczona nowa wersja S Voice, która działa od tej pory na technologii firmy Nuance. Zgodnie z tymi informacjami, najstarszymi telefonami, które dostały update do Androida 4.4.2, były Galaxy S4 oraz Samsung Note 3. Na sam koniec - paczka z aplikacją S Voice ma nazwę com.samsung.voiceserviceplatform, w której też nie występuje nazwa Vlingo.
Oznacza to, że od 2014 roku można z dużym prawdopodobieństwem stwierdzić, że aplikacja Vlingo nie jest dystrybuowana do użytkowników i nie mają oni możliwości jej zainstalowania. Pomimo tego znalazła się ona w TOP 20 aplikacji wykorzystywanych przez Polaków w grudniu 2016 roku.
Zespół Gemius zarzeka się, że wynik obejmuje aplikacje otwarte co najmniej raz w danym miesiącu, ale do zbudowania próby wykorzystał wyniki z kwartału Q3 2016 oraz całego 2015 roku, które zostały nałożone na wyniki z grudnia 2016! Próbowaliśmy się dowiedzieć, skąd to wynika, ale niestety nasza rozmowa na Twitterze nie dała nam jasnej odpowiedzi, dlaczego akurat tak została dobrana próba.
Dodatkowo większość aplikacji z TOP 20 to aplikacje systemowe, takie jak Google+, Zdjęcia Google, Sklep Google, Mapy (aplikacja o tej nazwie teoretycznie jest dostępna tylko na systemie Apple) czy Aplikacja Google (czymkolwiek ona jest). O jakości dostarczanych SDK i dokumentacji, w porównaniu do innych narzędzi analitycznych na rynku, chyba nie warto wspominać. Każdy, kto miał przyjemność ich wdrażania wie, jaki to był problem.
3. W raporcie Spicy Mobile/Mobilegate oraz Gemius/PBI statystyki są niezgodne z oficjalnie podanymi informacjami prasowymi.
Niestety, w danych Spicy Mobile/Mobigate można mieć zastrzeżenie do co najmniej czterech aplikacji:
- jakdojade.pl w grudniu 2016 rok zostało sprzedane do Grupy Onet-RASP, a Bartosz Burek oficjalnie powiedział, że w grudniu jakdojade.pl miało średnio 500k aktywnych użytkowników dziennie na Androidzie i 1,1 mln aktywnych użytkowników miesięcznie. W odniesieniu do danych z raportu Spicy Mobile / Mobigate przekłamanie to prawie 75%.
- W czerwcu Qpony kupiły aplikację Blix i stały się znaczącą grupą mobilną w Polsce z 1 mln aktywnych użytkowników miesięcznie. Dane wymagają potwierdzenia u źródła, ale w tym momencie powinno być ich o wiele więcej, szczególnie, że w tym czasie było przeprowadzonych wiele udanych kampanii, a grudzień to najgorętszy okres zakupowy.
- Yanosik w 2014 roku ogłosił 2 mln pobrań (podwojenie liczby ściągnięć w ciągu roku) oraz 500k aktywnych użytkowników miesięcznie. Wydaje się dziwne, że przez dwa lata liczba aktywnych użytkowników przy tak dynamicznym wzroście to zaledwie 600k na Androidzie.
- IKO w grudniu 2016 osiągnęło 1 mln aktywacji na Androidzie. Zestawiając tę informację z danymi z raportu wygląda na to, że w tym czasie 70% użytkowników zrezygnowało z korzystania z usług banku lub zmieniło platformę. Również tutaj dane wydają się dziwne.
- Na sam koniec tajemnicze Centrum Wróżb, które wg raportu ma 600 tys. aktywnych użytkowników, a aplikacja ma pobrania z Google Play Store w widełkach 10 - 50 tysięcy.
Podsumowując
Trudno uznać, że wyniki przedstawione przez Gemius/PBI oraz Spicy Mobile/Mobigate są w jakikolwiek sposób miarodajne. Jest to o tyle problematyczne, że wyniki publikowane przez Gemius/PBI są “wyrocznią” przy planowaniu kampanii, a umieszcza w niej aplikację, która nie istnieje oficjalnie na rynku od co najmniej 2014 roku.
Z drugiej strony trudno też zaufać badaniom od Spicy Mobile/Mobigate, skoro w przypadku jednej z większych aplikacji na polskim rynku (jakdojade.pl) ich badanie odchyliło się raptem o 75%, a raport w żaden sposób nie ujmuje oficjalnych informacji od właścicieli.
Na podstawie tych danych ludzie mogą podjąć błędne decyzje o alokacji budżetów, bo prawdopodobnie do większości nie docierają rozmowy kuluarowe prowadzone na Twitterze, LinkedIn’ie czy Facebooku. Dużo można się dowiedzieć o tym np. z wczorajszego postu Tomasza Woźniaka.
- Google+ uruchamia się przy każdym logowaniu za pomocą konta Google na Androidzie.
- Aplikacja Vlingo jest dostępna dla Androidów poniżej 4.0 (tylko).
- Grupa mobile IAB Polska ma konkretne rekomendacje dotyczące pomiaru, które nie zostały wcielone w życie.
- Jest sporo anomalii dotyczących struktury udziałów systemów mobilnych w poszczególnych aplikacjach, co potwierdza np. Gabor Wnuk z Wirtualnej Polski.
Najgorsze w tej sprawie jest to, że sam raport Gemius/PBI jest płatny, opóźniony o rok i nikt nie zadał sobie trudu, aby sprawdzić poprawność i sens tych danych.
Tłumaczenie, że jest to pierwsza wersja raportu i będzie poprawiana w przyszłości, w żaden sposób do mnie nie przemawia. Pomimo tych rewelacji nikt też oficjalnie nie skorygował tych wszystkich informacji.
Pytań po analizie tych danych jest wiele:
- Po co publikować wyniki raportu uwzględniającego korzystanie z preinstalowanej aplikacji, która odpala się dwoma kliknięciami w Home Button na telefonie jednego producenta czy ogólnych narzędzi Google?
- Jaki udział mają poszczególne systemy i które z aplikacji są faktycznie wykorzystywane?
- Jak to ma pomóc branży w planowaniu wydatków, skoro nikt sensownie i krytycznie nie podszedł do uzyskanych danych?
- Czy w taki sam sposób powstaje główne badanie Internetu Gemius/PBI i czy może być w jakikolwiek sposób miarodajne?
Niestety w tym momencie wygląda na to, że nie mamy żadnego badania, które potrafi pokazać jaki jest prawdziwy udział poszczególnych graczy na polskim rynku mobile. Zawodzi technologia oraz podejście.
Jeśli się z tym nie zgadzasz, masz inne/dodatkowe dane lub masz swoje przemyślenia - daj znać w komentarzu, chętnie poznam Twoją opinię.
Piotr Biegun CEO WhallaLabs.pl & MD Cogision.com
Pasjonat nowych technologii, zachowań konsumenckich oraz żeglarstwa. Inicjator wielu wydarzeń na poznańskiej scenie startupowej. Specjalizuje się w rozwoju produktów cyfrowych, sprzedaży oraz analizie danych
Hej, jesteśmy na Google News - Obserwuj to, co ważne w techu