Jakie są główne cele startupu? No takie żeby robić postępy w zakresie aktywizacji użytkowników, sprzedaży, oglądalności, itd. Dlatego najpierw trzeba określić kryteria sukcesu. Następnie ruszamy z koksem i obserwujemy co się dzieje. Wtedy mierzymy, najczęściej statystykami, czy idziemy w kierunku tego oczekiwanego postępu. Częściej jednak jest tak, że patrzymy na „jakieś staty” jak ciele na malowane wrota i liczymy na cud (z autopsji). Wtedy większość tym co się udało powie, że to co robisz jest bez sensu. Jak więc mierzyć postępy?
Statystyki. Najpopularniejsze jest Google Analytics. Tylko, że to narzędzie ma bardzo ograniczone możliwości o czym przekonałem jakiś czas temu (poprzez cykliczne pytania inwestora). Mierzenie niektórych z tych właściwych statystyk jest co prawda możliwe ale jest to masakryczna praca naokoło, która tworzy mało przyjazne narzędzie. Efekt jest taki, że właściciele serwisów niewiele się z takich statystyk dowiadują a tym samym ich wnioski są kompletnie nietrafione. W takim przypadku ocena czy nasze ostatnie zmiany przyniosły korzyści czy straty staje się niemożliwa. Najczęściej powodem jest skupianie się na zagregowanych wartościach. Brak ich rozbicia na grupy miar/wartości, które zostały wygenerowane w danym kontekście nie daje możliwości właściwej oceny. Coś nam rośnie, rośnie, a później stop! i przestajemy kochać nasz startup :) Firma czy startup charakteryzuje dążeniem do osiągania postępu. Bez wiedzy co jest obecnie i gdzie iść dalej (wg sensowych przesłanek) chodzimy jak dziecko we mgle. Nauczmy się czytać i uczyć ze statystyk.
Per użytkownik
Statystyki to ludzie. Same liczby niewiele mówią. Jeśli w serwisie o karierze zawodowej na jego forach jednego dnia wysłano 500.000 postów a kolejnego 550.000, a jednocześnie parę dni wcześniej uruchomiono jego kilka reklam w Internecie, to wnioskowanie, że jest lepiej może być błędem. Jeśli za kryterium „postępu” przyjmiemy, że następuje on wtedy kiedy użytkownicy są bardziej aktywni, a za miarę aktywności przyjmujemy, że bardziej aktywny to ten co wysyła więcej postów, to zagregowana liczba nic nie mówi. Jeśli po reklamach dołączyło 50.000 osób, to pytanie brzmi – czy pojedynczy user jest rzeczywiście bardziej aktywny? Może się okazać odwrotnie. Dlatego dzielenie ilości akcji (świadczących o zaangażowaniu) przez liczbę unikalnych odwiedzających użytkowników, w danym okresie da o wiele lepszy ogląd jakości mojego rozwiąnia.
Trzeba też tutaj wspomnieć jakie kryteria są dobre na początek, przynajmniej według twórców udanych startupów (Genome Report). Być może ktoś przyjmuje ogólną liczbę odsłon za postęp bo zarabia na reklamach (to wytłumaczenie też ma krótkie nogi). Ale jeśli ktoś ma np. model Freemium to powinien się skupić najpierw aby rozwój samego produktu powodował większe zaangażowanie obecnych użytkowników. Jeśli osiągnie maksymalne wartości wskaźników i wyciśnie od aktualnych klientów co się da, wtedy warto myśleć o wzroście nie wspominając o mega promocji (skalowanie). Wiara, że przyjdą nowi goście i im się spodoba bardziej niż poprzednim bo dodaliśmy ajaxowe cudo w ostatniej iteracji – to ułuda. Tak nie będzie.
Cohorts / funnel analysis
Kolejna technika. Po polskiemu kohorty (termin ze statystyki) to po prostu grupy ludzi, których łączy jakaś cecha/kryterium. Są szczególnie przydatne kiedy mamy stały przyrost liczby userów, ale nie tylko. Przy analizie statystyk warto wszystkich użytkowników podzielić właśnie na kohorty. Najprostszym kryterium podziału jest data rejestracji w serwisie. Ewentualnie data pierwszych odwiedzin, a jeśli mamy w naszym systemie dane o płci, wieku… to możemy też podzielić użytkowników na kohorty demograficzne. Będą one odzwierciedlały segmenty z modelu biznesowego. Najlepiej zacząć od podziału wg daty rejestracji i podzielić na segmenty tygodniowe jeśli np. update produkcji z nowymi funkcjonalnościami odbywa się co tydzień. Co tydzień załóżmy, że robimy pewien rodzaj promocji dla jakiejś grupy demograficznej. Za pomocą np. KISSMetrics możemy obserwować zachowanie tej grupy w czasie w odniesieniu np. do parametru – % powracających (danej kohorty). To pozwala wnioskować – „te zmiany zwiększyły % powracających dla tej grupy”, albo „reklama na portalu dla matek była bez sensu bo te osoby bardzo rzadko wracają”.
Kolejne narzędzie to lejek zmian. Najpierw określamy kolejne poziomy zaangażowania użytkownika („podróż użytkownika”) i patrzymy ile z nich wycieka na coraz „mocniejszych” poziomach zaangażowania. Więcej o tej metodzie AARRR przeczytacie tutaj. Analiza lejka pozwala się skupić na odpowiednim elemencie strony do analizy i poprawy. Jeśli mamy wysoki współczynnik odrzuceń, więc aktywacja jest niska to pewnie trzeba się skupić na poprawie landing page (komunikacja głównej aktywności/korzyści), bądź kierowanie się do kogoś innego z reklamą (segment pivot). Poniżej przykładowy lejek.
W efekcie obu narzędzi tworzymy jeden widok (dashboard), który mówi nam bardzo wiele. Kontrolujemy, które grupy na którym poziomie lejka jak sobie radzą.
Podsumowanie
Tak naprawdę piszę częściowo o Lean Startup, czyli o metodzie, która polega na tym, że wymyślamy coś, wypuszczamy, mierzymy efekty i wnioskujemy (nauka). Kolejne iteracje i wymyślanie zadań nie jest z powietrza ale bazuje na konkretnych wnioskach i nadaje sensowny kierunek. Nie należy tego mylić z bezpośrednimi potrzebami użytkowników, którzy nie zawsze wiedzą czego potrzebują bo innowacja często trafia w nieuświadomione potrzeby.
Moim zdaniem jeśli ktoś porządnie nie zagłębi się we właściwe mierzenie swojego postępu to może pakować manatki bo nic z tego nie będzie. Ewentualnie łut szczęścia pomoże pozwolić utrzymać się na powierzchni, ale na pewno nie uda się zbudować czegoś dużego. Ktoś powie, że są jeszcze inne powody nieudanych startup’ów. Zgoda. Jednak można dyskutować czy np. sam pomysł jest dobry i warty robienia, ale jak to ktoś powiedział pomysł jest wart 1,22 zł + VAT. Dla mnie inne powody (lenistwo, wiara w cuda) to geneza tego, że ludzie właśnie nie mierzą postępów bądź mierzą je źle. To prowadzi donikąd.
Co do narzędzi. Nie będę reklamował KISSMetrics bo też ma wady (brak OR, AND aby wstawić je pomiędzy kilka eventów dla stworzenia odpowiednich metryk, brak filtrów na IP, itd.). Ale warto od tego zacząć. Kończy się na tym, że używam Google, KISS, własny system i nie wiadomo czy nie dojdzie MixPanel. A wy czego używacie i co ważniejsze w jaki sposób, bo ciągle sam poszukuję?
Grafiki z cartoonstock.com, kissmetrics.com, oraz z książki Ash Maurya
Autorem jest Maciej Oleksy, twórca Chalky.me, Meegusto.com