W zasadzie nie jest to całkowicie nowy benchmark, a rozwinięcie dobrze znanego V8 o pięć nowych testów, które mają odzwierciedlać wykorzystanie w typowych sytuacjach, które to sytuacje zmieniły się, czy może ewoluowały, a przeglądarki coraz częściej służą nowym celom np. rozrywce w postaci dość zaaw...
W zasadzie nie jest to całkowicie nowy benchmark, a rozwinięcie dobrze znanego V8 o pięć nowych testów, które mają odzwierciedlać wykorzystanie w typowych sytuacjach, które to sytuacje zmieniły się, czy może ewoluowały, a przeglądarki coraz częściej służą nowym celom np. rozrywce w postaci dość zaawansowanych gier. Mierzenie wydajności przeglądarki jest mobilizujące dla twórców tych programów, którzy zdają sobie sprawę, że użytkownicy często dokonują wyboru kierując się właśnie wydajnością przeglądarki. Powstaje jednak pytanie, czy producent przeglądarki powinien być jednocześnie autorem benchmarku do jej testowania? Czy to nie sprzyja nadużyciom i faworyzowaniu własnych rozwiązań?
Czego więc zabrakło w V8, co skłoniło do stworzenia nowego Octane? Wspomniane pięć nowych testów to:
Jak widać Octane dodaje przede wszystkim testowanie pod kątem rozbudowanych gier uruchamianych w przeglądarce oraz obsługę PDF i innych rozbudowanych aplikacji JavaScriptowych. Oprócz tego wciąż przeprowadzane są testy z benchmarku V8, których, przypomnijmy, jest osiem. W sumie Octane oferuje 13 różnych testów.
Octane nie jest zgodne ze wszystkimi przeglądarkami, Google udostępniło tabelę kompatybilności:
Google twierdzi, że swój benchmark tworzy głownie na własne potrzeby, bo bez zmierzenia wydajności swojej własnej przeglądarki nie można pracować nad poprawą jej wydajności. Nie zmienia to jednak faktu, że nie obejdzie się bez porównań Chrome do innych przeglądarek za pomocą tego testu, a wtedy mogą pojawić się sugestie, że faworyzuje on przeglądarkę Chrome. Cóż, nie da się ukryć, że autorzy przeglądarki i samego testu będą wiedzieć najlepiej jak zgrać jedno z drugim, aby wyniki były jak najwyższe. Z resztą taki jest przecież zamysł, zrobić benchmark i pracować nad poprawieniem wyników przeglądarki na jego bazie.
Nie jest jednak tak źle, jak mogłoby się wydawać. Sam benchmark ma otwarte źródło i każdy może sprawdzić jak został napisany. Trzeba również pamiętać, że jest to test skupiający się jedynie na JavaScript. Dodatkowo cieszy fakt wykorzystania w benchmarku czytnika PDF napisanego w JavaScript przez Mozillę, czyli konkurencję, przynajmniej jeśli chodzi o przeglądarki.
Sam przeprowadziłem szybki test porównujący obecne, stabilne wydania przeglądarek (Chrome 21.0.1180.83, Opera 12.01 i Fireofx 14.01). Nikogo nie zaskoczy, że Chrome wypadł najlepiej, otrzymując 11383 punków, zaskakujące jest jednak, że Opera, która w wielu benchmarkach często wyprzedza Firefoksa, co z reszta jest zgodne z moimi obserwacjami, norweska przeglądarka wydaje się zdecydowanie szybsza, zajęła tym razem ostatnie, trzecie miejsce z wynikiem 4669, a Firefox zdobył zdecydowanie lepszy wynik 6702 punktów. Nie mniej zaskakujące, że w teście PDF.js, powstałym na bazie czytnika PDF stworzonego przez Mozillę, Firefox zdobył najmniej punktów - 3124, podczas gdy Opera osiągnęła w nim 4202 a Chrome 12341.
Przypominam, że nie można porównywać wyników pochodzących z testów przeprowadzonych na różnych komputerach. Przeglądarki należy testować na tej samej maszynie. Dodatkowo wszelkie programy działające w tle powinny zostać zamknięte, przeglądarka powinna zostać uruchomiona na nowo i po odczekaniu chwili na zakończenie wszystkich procesów można w niej uruchomić Octane, inaczej wyniki będą niemiarodajne, bo będą efektem przypadkowych, niekontrolowanych czytników.
Więcej informacji na temat samego testu znajdziecie na jego stronie i we wpisie na oficjalnym blogu Google.
Hej, jesteśmy na Google News - Obserwuj to, co ważne w techu
