Google prezentuje nowy benchmark dla przeglądarek - Octane. Czy faworyzuje Chrome?

W zasadzie nie jest to całkowicie nowy benchmark, a rozwinięcie dobrze znanego V8 o pięć nowych testów, które mają odzwierciedlać wykorzystanie w typowych sytuacjach, które to sytuacje zmieniły się, czy może ewoluowały, a przeglądarki coraz częściej służą nowym celom np. rozrywce w postaci dość zaawansowanych gier. Mierzenie wydajności przeglądarki jest mobilizujące dla twórców tych programów, którzy zdają sobie sprawę, że użytkownicy często dokonują wyboru kierując się właśnie wydajnością przeglądarki. Powstaje jednak pytanie, czy producent przeglądarki powinien być jednocześnie autorem benchmarku do jej testowania? Czy to nie sprzyja nadużyciom i faworyzowaniu własnych rozwiązań?

Czego więc zabrakło w V8, co skłoniło do stworzenia nowego Octane? Wspomniane pięć nowych testów to:

• Box2DWeb - jest to silnik odpowiedzialny za symulację fizyki w dwóch wymiarach, na potrzeby testu przeportowany został na JavaScript. Jak wygląda symulacja fizyki (w czasie testów Octane tego nie zobaczymy) można sprawdzić tutaj.
• Mandreel - 3D Bullet Engine, którego oryginalny kod C++ dodatkowo został przeniesiony do JavaScript przez kompilator Onan Games o nazwie Mandreel, który również jest często wykorzystywany przez różne gry on-line.
• Pdf.js - test bazujący na czytniku PDF stworzonym przez Mozillę, demonstrujący jak aplikacje JavaScript mogą zastąpić rozbudowane rozszerzenia przeglądarki. W tym wypadku mierzony jest czas, jaki potrzebuje przeglądarka do zdekodowania przykładowego dokumentu PDF.
• GB Emulator - demo 3D bazujące na otwarto źródłowym emulatorze architektury GameBoy'a.
• CodeLoad - mierzący ile czasu zajmuje wczytanie i uruchomienie dużego programu JavaScript, np. rozbudowanego widżetu społecznościowego.

Jak widać Octane dodaje przede wszystkim testowanie pod kątem rozbudowanych gier uruchamianych w przeglądarce oraz obsługę PDF i innych rozbudowanych aplikacji JavaScriptowych. Oprócz tego wciąż przeprowadzane są testy z benchmarku V8, których, przypomnijmy, jest osiem. W sumie Octane oferuje 13 różnych testów.

Octane nie jest zgodne ze wszystkimi przeglądarkami, Google udostępniło tabelę kompatybilności:

Czytaj dalej poniżej

5 polskich portali, 5 skrzynek pocztowych - zobaczymy kto jest największym spamerem Grzegorz Marczak

Zdobądźmy specjalną odznakę od Foursquare dla Warszawy. Oby została nią Syrenka Michał Szabłowski

Google twierdzi, że swój benchmark tworzy głownie na własne potrzeby, bo bez zmierzenia wydajności swojej własnej przeglądarki nie można pracować nad poprawą jej wydajności. Nie zmienia to jednak faktu, że nie obejdzie się bez porównań Chrome do innych przeglądarek za pomocą tego testu, a wtedy mogą pojawić się sugestie, że faworyzuje on przeglądarkę Chrome. Cóż, nie da się ukryć, że autorzy przeglądarki i samego testu będą wiedzieć najlepiej jak zgrać jedno z drugim, aby wyniki były jak najwyższe. Z resztą taki jest przecież zamysł, zrobić benchmark i pracować nad poprawieniem wyników przeglądarki na jego bazie.

Nie jest jednak tak źle, jak mogłoby się wydawać. Sam benchmark ma otwarte źródło i każdy może sprawdzić jak został napisany. Trzeba również pamiętać, że jest to test skupiający się jedynie na JavaScript. Dodatkowo cieszy fakt wykorzystania w benchmarku czytnika PDF napisanego w JavaScript przez Mozillę, czyli konkurencję, przynajmniej jeśli chodzi o przeglądarki.

Wyniki testu przeglądarek

Sam przeprowadziłem szybki test porównujący obecne, stabilne wydania przeglądarek (Chrome 21.0.1180.83, Opera 12.01 i Fireofx 14.01). Nikogo nie zaskoczy, że Chrome wypadł najlepiej, otrzymując 11383 punków, zaskakujące jest jednak, że Opera, która w wielu benchmarkach często wyprzedza Firefoksa, co z reszta jest zgodne z moimi obserwacjami, norweska przeglądarka wydaje się zdecydowanie szybsza, zajęła tym razem ostatnie, trzecie miejsce z wynikiem 4669, a Firefox zdobył zdecydowanie lepszy wynik 6702 punktów. Nie mniej zaskakujące, że w teście PDF.js, powstałym na bazie czytnika PDF stworzonego przez Mozillę, Firefox zdobył najmniej punktów - 3124, podczas gdy Opera osiągnęła w nim 4202 a Chrome 12341.

Przypominam, że nie można porównywać wyników pochodzących z testów przeprowadzonych na różnych komputerach. Przeglądarki należy testować na tej samej maszynie. Dodatkowo wszelkie programy działające w tle powinny zostać zamknięte, przeglądarka powinna zostać uruchomiona na nowo i po odczekaniu chwili na zakończenie wszystkich procesów można w niej uruchomić Octane, inaczej wyniki będą niemiarodajne, bo będą efektem przypadkowych, niekontrolowanych czytników.

Więcej informacji na temat samego testu znajdziecie na jego stronie i we wpisie na oficjalnym blogu Google.