Microsoft zadba o nasze wspomnienia. Oby więcej takich rozwiązań.

Młodsze pokolenia zapominają czym jest wartość tego jednego, jedynego zdjęcia. Obecnie przeciętny nastolatek robi w ciągu dnia więcej fotek niż moja rodzina w trakcie całego wyjazdu wakacyjnego w czasach zanim smartfony stały się czymś normalnym. Panowie Ziyu Wan i Bo Zhang z Microsoft, rozumieją znaczenie tych wspomnień i postanowili coś z tym zrobić.

Są członkami Microsoft Research który to jest oddziałem zajmującym się eksperymentowaniem z nowymi rozwiązaniami, które mają szansę zmienić świat. Tym razem opracowali system oparty o sztuczną inteligencję, którego głównym celem jest odtworzenie zdjęć, których dotknęła widoczna i bolesna degradacja.

Ale to już było

Normalnie tego typu systemy wykorzystują model nadzorowanej nauki. W wielkim skrócie polega ona na tym, że uczymy nasz system rozpoznawania konkretnych wzorców, a cały proces (jak sama nazwa wskazuje) jest nadzorowany. Oznacza to, że model trenowany jest z wykorzystaniem zarówno prawidłowych jak i błędnych zestawów danych zaś wyniki w zależności od rezultaty mogą być korygowane. Im więcej danych tym lepsze wytrenowanie i lepsza jakość końcowych wyników. Przypomina to rzeczywisty proces nauczania, w którym metodą prób i błędów poznajemy i zapamiętujemy nowe rzeczy czy schematy z pomocą nauczyciela.

Problemem jednak leży w tym, że degradacja zdjęć i poziom złożoności zniszczeń może być na tyle znaczący i dotkliwy, że tego typu narzędzia po prostu nie poradzą sobie z ich naprawieniem. Wynika to z przepaści jaka dzieli oryginalne zdjęcie i jego sztuczny, poprawiony, syntetyczny odpowiednik. Dlatego rozwiązanie Panów Wan i Zhang opiera się o coś co fachowo nazywa się novel triplet domain translation.

Czytaj dalej poniżej

MS Teams także dla rodziny i przyjaciół, nie tylko do pracy Kamil Świtalski

Microsoft wpada w ramiona Facebooka. Uratują ich po ogromnym fiasku Mixera Konrad Kozłowski

Technika ta opiera się o pracę w dwóch różnych przestrzeniach. Jedną jest oryginalne zdjęcie, a drugą duży zestaw spreparowanych cyfrowych odpowiedników. Na podstawie tego trenowane są dwa zestawy autoenkoderów (za chwilę wyjaśnię co to jest). Dzięki takiemu podejściu jesteśmy w stanie obrobić stare zdjęcia w dwóch ukrytych płaszczyznach. Kolejnym krokiem jest dokonanie stosownej translacji między tymi płaszczyznami co jest możliwe dzięki nauce właśnie o spreparowane dane.

Wspomniany wcześniej autoenkoder jest rodzajem sieci neuronowej, która wykorzystywana jest do nauki wydajnego sposobu na kodowanie danych. Nauka odbywa się w sposób nienadzorowany. Nawiązując do tego co wcześniej napisałem, celem autoenkoderów jest nauka reprezentacji zestawu danych najczęściej po to, aby zmniejszyć ilość wymiarów np. dzięki ignorowaniu szumów, których w przypadku zniszczonych zdjęć może być całkiem dużo.

To działa

Musze przyznać, że efekty działania tych algorytmów są powalające. Wystarczy rzucić okiem na zestawienie które znajdziesz we wcześniejszej części artykułu.

Póki co Microsoft nie wystawił rozwiązania dla publiki więc nie możemy samodzielnie sprawdzić jej w działaniu jednak myślę, że to kwestia czasu. W filmiku, który znajdziesz poniżej z dokładnym wyjaśnieniem wspomnianej techniki jest mowa o istotnej redukcji kosztów tego typu operacji.

https://www.youtube.com/watch?v=Q5bhszQq9eA&feature=emb_logo