Mechanizm, który Apple stosuje do analizy zdjęć iCloud, można oszukać

Ogłoszenie przez Apple, że w celu walki z dziecięcą pornografią, będzie przeszukiwać zdjęcia udostępnione przez iCloud, spowodowało spore „trzęsienie ziemii”. Choć Apple starało się stworzyć system, który pogodzi poszanowanie prywatności z koniecznością analizy treści, ich rozwiązanie bazujące na porównywaniu specjalnych NauralHashy budzi ogromne kontrowersje. Dziś pojawiły się czysto techniczne watpliwości dotyczące jego skuteczność. Ale wbrew pozorom może to być dobra wiadomość.

Pogodzić sprzeczności

System CSAM Apple, w dużym skrócie, działa w ten sposób, że zamiast rozpoznawania treści zdjęcia, dokonuje wieloetapowej analizy wyszukując szereg charakterystycznych elementów zdjęcia. Następnie bazując na wyselekcjonowanych fragmentach tworzy jego cyfrowy odcisk, czyli tzw. NeuralHasha (nie mylić z hashem tradycyjnym). Dzięki temu nie jest potrzebna analiza treści, a odcisk ma być też do pewnego stopnia odporny na manipulacje zdjęciem.

Wygenerowany na urządzeniu Apple NeuralHash będzie następnie porównywany do bazy takich znaczników wygenerowanych w bazie National Center for Missing and Exploited Children (NCMEC). Są tam zdjęcia, które zostały jednoznacznie zidentyfikowane przez policję jako pedofilskie. Jeśli odciski cyfrowe będą zgodne, zdjęcie zostanie oflagowane. Po „złapaniu” przez użytkowanika pewnej (nie podano ile) ilości flag, informacja trafi do moderatorów w Apple, którzy przeanalizują indywidualnie każdy taki przypadek. Jeśli zespół uzna, że coś jest na rzeczy, zgłosi sprawę władzom.

Uśpiony mechanizm

System rozpoczął działanie, na razie tylko w Stanach Zjednoczonych, 5 sierpnia. Jak się jednak okazało w systemie zaszyty został już wcześniej i właśnie ze starszej wersji iOS ktoś zdołał go wyciągnąć i zbudować tak samo działające narzędzie w Pythonie. Jak sam twórca napisał, nie ma tu jeszcze zaimplementowanego docelowego algorytmu, ale da się poznać ogólną zasadę działania.

Czytaj dalej poniżej

Nikt tak nie zadba o Twoją prywatność tak jak Apple - przegląd najnowszych rozwiązań Krzysztof Kurdyła

Apple ugięło się pod naciskiem użytkowników. Nici z nowego Safari Konrad Kozłowski

Z testów wynika, że w tej wersji mechanizm jest odporny na zmianę wielkości obrazu, ponowną kompresję, z innych źródeł wiadomo, że także zmiana kolorystyki nie powinna mu zaszkodzić. Natomiast kadrowanie i odwracanie powoduje, że NeuralHash przestaje być zgodny z oryginałem.

Kolejny użytkownik przygotował test, w którym stworzył dwa różne obrazy mające ten sam NeuralHash. Trzeba jednak zauważyć, że drugi z obrazów to specjalnie spreparowane nic, szare plamy, które z pewnością nie przeszłyby przez ludzką analizę w Apple. Nie mniej, jeżeli tak łatwo spreparować kolizję, może to oznaczać, że w przypadku miliardów zdjęć takie fałszywe wyniki mogą być dużym problemem.

Nie tego się boję

Ta sprawa z pewnością podniesie temperaturę dyskusji dotyczącej zabezpieczeń Apple, ale ja dalej twierdzę, że to nie tu leży problem. Algorytm typu NeuralHash musi mieć pewną niedokładność, ale konieczność zebrania większej ilości flag i weryfikacja przez moderatorów Apple pozwoli zabezpieczyć ten system, ewentualnie go zatka, jeśli błędnych rozpoznań będzie za dużo.

Preparowanie tą drogą ataków jest zupełnie bez sensu, bo trzeba byłoby mieć dostęp do bazy NCMEC, a wtedy prościej użyć prawdziwych zdjęć pornograficznych tam się znajdujących.

Ciągle w mojej ocenie najgroźniejsza jest szybka możliwość adaptacji tego narzędzia dla innych przeszukiwań, pozwalająca jednocześnie twierdzić, że prywatność jest niezagrożona. Bardzo łatwo nadzór na wynikami może być przekazany komuś innemu, a rządy są w stanie wymusić to administracyjnie.

Nie mniej, to odkrycie może być cenne, jeśli dzięki niemu narzędzie Apple stałoby się zbyt problematyczne w użyci przez nadmierną ilość fałszywych zgłoszeń,  to może doprowadzić do jego likwidacji. Chociaż z drugiej strony myślę, że sprawa jest tak głośna, że szereg rządów już dziś rozważa stworzenie takich systemów samodzielnie i zmuszenie producentów do ich implementacji. Choć chciałbym się mylić...