25

Nie wierzcie testom DXOMark

Są osoby twierdzące, że to który smartfon robi lepsze zdjęcia jest opinią subiektywną. W sieci funkcjonuje jednak portal DXOMark robiący profesjonalne testy oraz własny ranking. Nasuwa się jednak pytanie - czy te testy są miarodajne i faktycznie wskazują najlepsze smartfonowe aparaty?

Google Pixel 2
Apple iPhone 8 Plus/Samsung Galaxy Note 8
Apple iPhone 8

Tak prezentuje się aktualnie pierwsza trójka (no dobrze, w sumie to czwórka) najlepszych aparatów w rankingu DXOMark Mobile. Kolejne dwa sprzęty to Google Pixel i HTC U11. Zajmujące drugie miejsca sprzęty Apple i Samsunga długo nie nacieszyły się koroną króla smartfonowych aparatów, bowiem bardzo szybko odebrał im ją Google Pixel 2. Teoretycznie więc wiemy które telefony robią najlepsze zdjęcia i w których zaimplementowano najlepsze aparaty.

Na czym polega test DXOMark?

Żeby nie męczyć Was szczegółami – w teście badana jest między innymi ekspozycja, odwzorowanie kolorów, artefakty, szumy, działanie zoomu. Każde z testowanych zagadnień jest punktowane, następnie punkty są sumowane. Ostateczny werdykt bywa jednak kontrowersyjny, szczególnie że niektóre smartfony stawiają na zoom, inne na popularny ostatnio tryb portretowy – a na przykład te właśnie dwie opcje nie są obecne u wszystkich. I co wtedy jest ważniejsze – dodatkowy zoom czy umiejętna redukcja szumów na zdjęciu? Z tego pierwszego nie wszyscy skorzystają, duże szumy zepsują natomiast fotografię.

Problematyczny może wydawać się również autor testu. Jest on „niezależny” – sęk w tym DXO Labs to firma doradcza. Zarabia na doradzaniu firmom produkującym smartfony w temacie sprzętu umieszczanego w ich produktach. Co więcej, DXO Labs sprzedaje oprogramowanie o nazwie DXO Analyzer, dzięki któremu producenci telefonów mogą testować swoje aparaty.

Test smartfonów DXOMark

I na pierwszy rzut oka nie ma w tym nic złego. Trudno przecież oczekiwać, by firma specjalizująca się w profesjonalnych testach sprzętu zarabiała wyłącznie na swojej stronie z testami. Tylko czy na pewno nabycie wspomnianego oprogramowania albo wynajęcie DXO Labs jako doradcy przy projektowaniu telefonu nie skutkuje tworzeniem urządzeń, które mają być nie tyle najlepsze i robić najlepsze zdjęcia – co najlepiej wypadać w rankingu? Jeśli bowiem producent sprzętu zaprojektuje go patrząc na kryteria testów DXOMark, wyniki mogą być zawyżone.

To oczywiście spekulacje, ale z usług DXO Labs korzystają HTC, Huawei, Samsung i Foxconn – a jak sami wiedzie, to właśnie ich urządzenia z każdą kolejną generacją otrzymują wyższe niż wcześniej wyniki. Oznaczałoby to, że świetnie radzą sobie w rozwoju swoich smartfonowych aparatów. Albo…wiedzą ja dobrze wypaść w testach.

Test smartfonów DXOMark

Kto zwraca na te testy uwagę?

Ja i Wy – czyli testerzy/recenzenci i świadomi użytkownicy, którzy przeglądają tabelki przed zakupem urządzenia chcąc jak najlepiej wydać swoje pieniądze. Można pomyśleć, że przecież statystyczny Kowalski w życiu nie dotrze do tego rankingu. No dobrze, nie dotrze. Pozostaje jednak pytanie na ile taki test wpłynie na recenzenta, który poleci lub odradzi zakup smartfona. Jest też oczywiście ogromna grupa osób, która po prostu uwierzy w reklamę wyświetlaną w telewizji. Skoro Robert Lewandowski powie, że w nowym Huawei jest najlepszy aparat – to dla oglądającego reklamę klienta jest on najlepszy. Jeśli powiedzmy przyszły klient woli Joannę Jędrzejczyk, która reklamowała Samsunga – uzna, że Samsung robi lepsze zdjęcia.

Porównywanie telefonów, również pod względem tego jakie zdjęcia robią czy jakie wideo kręcą to nie tylko sporo pracy, ale i sporo frajdy. Oczywiście nie mówię tu o profesjonalnych testach pokroju DXO Labs czy portali zajmujących się wnikliwą analizą tego, co zarejestrują aparaty i kamery. Zauważyłem, że duże znaczenie w odbiorze zdjęcia ma sympatyzowanie z daną marką i twarde stanowisko jeszcze przed obejrzeniem testu. Zdarzyło mi się na przykład porównywać filmy zarejestrowane dwoma smartfonami i jedni wskazywali sprzęt A, a drudzy sprzęt B jako zwycięzcę. Mi natomiast wydawało się, że wszystko doskonale widać gołym okiem i nie mogłem uwierzyć, że ktoś widzi to inaczej.

Mamy więc tę zwycięską trójkę z DXOMark. Jeśli różnice w punktacji są bardzo małe, to czy zwykły szary użytkownik zauważy różnicę i wskaże które zdjęcie jest lepsze? Gdybym miał ułożyć ranking DXOMark bazując na własnych testach i doświadczeniach niektóre urządzenia umieściłbym wyżej, a inne niżej. I patrzę jeszcze raz na stronę DXOMark, gdzie widzę trzy ostatnie wpisy, gdzie jeden brzmi:

Apple iPhone 8 Plus zrecenzowany: Najlepszy smartfonowy aparat jaki kiedykolwiek testowaliśmy.

natomiast kilka dni później pojawia się wpis

Google Pixel 2 zrecenzowany: Ustanawia nowy rekord punktacji w naszym teście.

Sami chyba przyznacie, że dziwnie to wygląda.

A Wy jakimi kryteriami kierujecie się przy ocenianiu jakości zdjęć wykonanych aparatami w smartfonach? Bo nie uwierzę, że nie jest to dla Was ważne. W końcu podobno przy wyborze telefonu liczy się jego cena, aparat i czas pracy na jednym ładowaniu.

źródło

  • Spiderjo

    Wczoraj Kuba w techweeku o tym wspominała dziś o tym artykuł hmmm ciekawa inspiracja ….

    • Daniel Poweska

      Kuba o tym wspomniał dawno, generalnie od dawna „wszyscy” o tym wiedzą

    • Wszyscy w branży niby wiedzą, a w relacjach z premiery Pixela nadal wszyscy jarają się tą punktacją. Albo wierzysz w bezstronność benchmarku i piszesz o jego wynikach albo nie.

    • Artur Marciniak

      sam jakiś czas temu się nad tym zastanawiałem i czekałem aż ktoś na AW o tym wspomni. Imho to jest trochę jak z badaniami…zależy kto je zleci.

  • Ameno

    DPReview. Amen

  • loki

    Ciekawe kiedy pojawi się na waszym blogu „wiarygodny” artykuł powołujący się na dxomark, który smartfon robi najlepsze zdjęcia.

  • Arbo

    Pixel był najlepszy w dxo i robił najlepsze zdjęcia. Więc nie mam powodów, żeby uważać że dxo „kłamie”. Poza tym autor nie pomyślał, że właśnie rozwijanie aparatów pod względem testów jest dobrym pomysłem, bo to jest profesjonalna firma, która wie co ocenia? I jeszcze jedno, przecież w dxo nie wiedzieli, że pixel 2 będzie lepszy od ip8, więc najpierw napisali o iphonie, a potem testowali pixela 2.

    • Artur Łukasz

      po wysokich pozycjach smartfonów od sony można było podejrzewać że ranking jest naciągany dla tych co więcej zapłacili albo lepiej przygotowali soft pod test.
      a google wcześniej wiedziało ile punktów będzie miał pixel w rankingu :)

    • Arbo

      Sprostujesz? Skąd google wiedziało?

    • Artur Łukasz

      Na prezentacji pixeli podali wynik testu.

    • Arbo

      Czyli dali do testów przed wypuszeczniem pixela, co w tym dziwnego?

    • Troy Izydorczak

      Ludzie nie mają wyobraźni a i z myśleniem na bakier xD. W szkole życia nie uczą.

    • Gamer

      Nie licząc tych flar, wiekszych niz upalcowany obiektyw od 10 palców co występowało w co 10 pixelu i google stwierdził, ze… to nic:)

    • Arbo

      Bez przesady, był to problem, ale czasem można było uzyskać fajny efekt.

  • jaizm
  • mac

    a jak sami wiedzie – ktoś kogoś gdzieś wiedzie, na manowce języka może
    sęk w tym DXO Labs to firma doradcza – może że brakuje

  • aPoCoMiLogin

    Nie jest tak czasami ze wszystkimi różnego rodzaju testami? Wszystko zależy zarówno od testu jak i testującego. Zarówno test jak i testujący mają spory wpływ na wynik końcowy.

    Nie mniej, nie wiedzę w tym nic złego. Jeżeli testowane są rzeczy które są istotne dla użytkownika i względem wyniku w tych testach powstaje ocena końcowa, to co w tym złego?

    • Tu nie chodzi o jakąś tam stronniczość. Tu chodzi zwyczajnie o kasę, która idzie za dobre wyniki testów. Serio wydaje Ci się, że faktury „za pomoc przy optymalizacji aparatów” jakie wystawia DXOmark producentom to coś więcej niż łapówka?

    • aPoCoMiLogin
  • ᗪ ᒍ ᗩ K ᗪ E K I E ᒪ

    Akurat pixel i pixel2 robi zajebiste zdjęcia więc nie dziwię się, że są wysoko ;)

  • Mateusz Mikołaj Łucyk

    Widać, że ktoś nie umie uwierzyć w sukces (przyszły) GP2…

  • Mateusz Jawdyk

    Zgadzam się z artykułem. Więc pytanie – dlaczego wy nie zrobicie takiego rankingu? Szperalem troche w sieci i jest niewiele „tabelek bechmarkowych” dotyczących jakości aparatów. Byłbym waszym najlepszym czytelnikiem :) Jak nie macie pomysłów to dam wam liste telefonów do sprawdzenia na pierwszy ogień :)

  • Michal Kolendo

    Mnie rozwaliła recka aparatu Sony xz premium m…1 zdanie: świetna stabilizacja kamery, ostatnie zadanie: słaba stabilizacja kamery. Testy telefonów niemiarodajne. Różne dla różnych telefonów. Punkty za 2 obiektywy, za inne rzeczy (np. Szeroki kąt) punktów brak… Ogólnie śmiech na sali

  • Tomek

    Dla mnie aparat w tel jest istotny, bo jak to ktoś kiedyś napisał najlepszy aparat to ten, który masz przy sobie :). Obecnie mam S7 i robi całkiem fajne zdjęcia ( jasny obiektyw i szybki focus – w końcu udaje się zrobić zdjęcie aktywnego dziecka w domu – S5 nie radził sobie) natomiast z obserwacji wydaje mi się, że lepszy byłby Pixel albo U11 ( ew. LG G5 ) – z racji na więcej detali w zdjęciach ( Samsungi za bardzo rozmywają jak dla mnie, gubią małe detale ). Widać to dobrze np. na scenach z roślinnością gdzie widać elegancko każdy listek. Tutaj można sobie na żywo porównać różne telefony, polecam obejrzeć jakość w słabym świetle, bo to dużo mówi o możliwościach aparatu – dobrze to widać w dolnym prawym rogu Low Light ( rybka ), albo na banknotach i ich napisach : https://www.gsmarena.com/piccmp.php3?idType=1

  • Od lat wiadomo, że te „testy” są z palca wyssane. Opiera się to na zasadzie żeby wszystko tak maksymalnie przekombinować technicznie, aby zniechęcić ludzi do czytania. Wtedy od razu każdy ląduje na podsumowaniu. Pamiętam jak porównywałem ze znajomymi aparaty – moje lumie zawsze miały słabe wyniki w trym benchmarku, a taka 1020 swego czasu po prostu miażdżyła konkurencję..