Porównanie wydajności pomiędzy różnymi systemami nie jest proste. Nie każdy program występuje w wersji na więcej niż jeden system, a jeśli nawet, nie zawsze jest równie intensywnie rozwijany na wszystkich platformach. Przykładem może być tu Skype, który w wersji na Linux jest zdecydowanie uboższy, niż w wersji na Windows.
Co więcej, jeśli mamy identyczny program na obu systemach, zwykle nie ma drugiego takiego programu do porównania. Ostatnio przyszło mi do głowy, że idealnie do tego celu nadają się przeglądarki. Nie dość, że występują na wszystkich trzech systemach, to na każdym rozwijane są w podobnym tempie. Postanowiłem to sprawdzić.
Brak Maka w porównaniu: Ponieważ porównanie wydajności przeglądarek ma tylko wówczas sens, kiedy benchmarki są uruchamiane na tym samym sprzęcie, ja nie posiadam Maka, niestety nie miałem możliwości porównania do trzeciego systemu, chociaż bardzo bym chciał. Jeśli ktoś ma Maka i nie boi się postawić na nim Linuksa i Windowsa w osobnych instalacjach, to zapraszam do testów i podzielenia się wynikami.
Metodologia badania była prosta. Pomiarów dokonałem na netbooku Asus EEE 1000H z procesorem Atom N270 1,6 GHz oraz 2 GB RAM. Najpierw na Windows XP zainstalowałem wszystkie trzy obecne wydania stabilne przeglądarek, czyli:
- Chrome 12.0.742.122
- Opera 11.50
- Firefox 5.0.1
Jako, że Peacekeeper zwraca różne wyniki, uruchamiałem go kilkakrotnie i uśredniałem. Po wszystkim zainstalowałem Ubuntu 11.04 i na nim powtórzyłem procedurę. Oba systemy operacyjne były instalowane na świeżo i miały zainstalowane wszystkie aktualizacje, jakie wyszły do dnia testu. Pomiędzy różnymi benchmarkami i różnymi przeglądarkami restartowałem system, żeby uniknąć wpływu zaśmiecenia pamięci, czy innych czynników, których nie mógłbym kontrolować.
Ponieważ same wyniki benchmarków niewiele mówią (co znaczy liczba 1782, albo czas 16045 ms?), postanowiłem obliczyć różnicę pomiędzy tymi samymi benchmarkami, w tej samej przeglądarce, ale na różnych systemach, w procentach.
Do celów prezentacji wyników za punkt wyjścia przyjąłem wynik osiągnięty na Windows. W końcu, jakby nie było, to najpopularniejszy system i najłatwiej się do niego odnieść. Coś jest o tyle procent szybsze, lub wolniejsze w stosunku do działania na Windows.
Nota bene Ubuntu jest od dawna na pierwszym miejscu pod względem popularności na Distrowatch i jedną z najpopularniejszych dystrybucji w ogóle (nie wiem czy już prześcignęła Fedorę?). Z tego powodu dobrze nadaje się do porównania, bo reprezentuje dużą część komputerów z Linuksem.
Wykres reprezentuje procentowe odchylenie wydajności na Ubuntu w stosunku do Windows.
Jak widać w kompleksowym benchmarku Peacekeeper, Chrome jest 3% wydajniejszy na Ubuntu. Z kolei Firefox i Opera są w stosunku do Windows wolniejsze odpowiednio o 16% i 10%. Zakładając, że Peacekeeper faktycznie bierze pod uwagę wiele czynników wydajności przeglądarki, wchodzi na to, że przesiadając się na Linuksa najlepiej wyjdą użytkownicy Chrome. Może niewiele zyskają, ale na pewno nic nie stracą.
W przypadku testu SunSpider sytuacja diametralnie się zmienia Chrome osiąga prawie o połowę gorszy wynik niż na Windows, podczas gdy Firefox jest lepszy o 7% na Ubuntu. Opera tuż za Firefoxem.Nie wiem co tak bardzo obniżyło wydajność Chrome w tym teście, aż powtórzyłem go, żeby wykluczyć pomyłkę. Być może ktoś z czytelników wie co jest przyczyną słabej wydajności Chrome w teście SunSpider pod Ubuntu?
Natomiast dla Krakena różnic pomiędzy systemami prawie nie było, chociaż wszystkie trzy przeglądarki sprawowały się minimalnie gorzej niż na Windows, ale jest to różnica w zasadzie do pominięcia.Podkreślam, że zarówno SunSpider jak i Kraken mierzą wydajność przeglądarki tylko w kontekście JavaScript, natomiast Peacekeeper przeprowadza cały szereg różnych testów.
Wyniki można przedstawić również w ten sposób:
Gdyby na tym wykresie linia określonej przeglądarki była prosta i na równi z zerem, oznaczałoby to, że jej wydajność jest identyczna jak pod Windows i nie występują różnice. Wszystko ponad, oznacza lepszą wydajność, wszystko poniżej, gorszą.
Wchodzi na to, że Opera pod Ubuntu jest najbardziej zbliżona do wersji pod Windows, chociaż ma trochę gorszą wydajność. Odpalanie Firefoxa ma swoje plusy i minusy pod Linuksem, podobnie z Chrome, ale to różnice pomiędzy poszczególnymi testami są znacznie większe.
Na koniec warto podkreślić, że test jednej dystrybucji, na jednej konkretnej platformie sprzętowej nie przesądza o relacji wydajności Windows VS Linux. Może okazać się, że na innej platformie sprzętowej są inne wyniki, lub na tym samym sprzęcie, ale innej dystrybucji. Nie wykluczam publikacji w przyszłości kolejnego porównania, na innym sprzęcie i innej dystrybucji, jednak ilość testów i czas potrzebny instalację kilku systemów spowodował, że na początek postanowiłem opublikować jedno porównanie i z czasem dodać kolejny artykuł.
Podsumowując wnioski:
- Nie należy ekstrapolować tych wyników jako generalnego porównania Windows VS Linux. Za mała próba.
- W teście biorącym najwięcej czynników pod uwagę zdecydowanie najlepiej wypadł Chrome. Pytanie czy ten test (Peacekeeper) przekłada się na używanie przeglądarki w warunkach naturalnych?
- Różnice pomiędzy systemami nie są bardzo wyraźne i spójne między sobą, nie ma sytuacji, że jedna platforma miażdży drugą.
- Wydajność poszczególnych funkcji przeglądarki jest również różna pomiędzy systemami (nie tylko przeglądarki jako całości).
- Ciekawe będzie porównanie tych wykresów z nowymi, wykonanymi na innej konfiguracji sprzętowej, ewentualnie innej dystrybucji.
Czekam na wszelkie uwagi i sugestie czytelników.