Kopiuj – wklej wydaje się Wam niereformowalne? Dzięki Augmented Reality być może zmienicie zdanie

Kopiuj – wklej 3D

Cyril Diagne to projektant i programista pracujący w Google Arts & Culture Lab w Paryżu. Zamiast pójść drogą większości deweloperów bawiących się w Augmented Reality, wymyślających jakby tu jeszcze inaczej wstawić nieistniejące obiekty do wyświetlanego na ekranie urządzenia „prawdziwego świata”, zrobił dokładnie odwrotnie. Jego aplikacja pozwala skopiować  obraz istniejących w rzeczywistości obiektów i wkleić do programu otwartego na jeszcze innym urządzeniu.

Do prezentacji użyto prawdopodobnie telefonu Google Pixel 4, który „skanował” obiekty z biura i wklejał na kolejne warstwy Photoshopa, otwartego na MacBooku Pro. Nie dość, że cała operacja wygląda bardzo efektownie, to po dopracowaniu tej technologii może być świetnym narzędziem dla wszelkiej maście grafików, projektantów, marketingowców. 

4/10 – Cut & paste your surroundings to Photoshop

Code: https://t.co/cVddH3u3ik

Book: @HOLOmagazine
Garment: SS17 by @thekarentopacio
Type: Sainte Colombe by @MinetYoann @ProductionType
Technical Insights: ↓#ML #AR #AI #AIUX #Adobe #Photoshop pic.twitter.com/LkTBe0t0rF

— Cyril Diagne (@cyrildiagne) May 3, 2020

Prototyp gotowy do testów

Programista udostępnił całość dotychczas zrealizowanych prac na GitHubie i szczegółowo opisał sposób jego działania. 

Cały system składa się z trzech głównych elementów:

• aplikacji mobilnej,
• serwera lokalnego, który odpowiada za komunikację z Photoshopem,
• modułu odpowiadającego za wycinanie i usuwanie tła.

Na chwilę obecną do wycinania obiektów programista używa oprogramowania dostarczanego przez zewnętrzny serwer, opartego o model BASNet, ale jak zaznaczył, docelowo chciałby aby cały proces odbywał się bezpośrednio w aplikacji mobilnej. Po wycięciu danego elementu aplikacja wykonuje zdjęcie ekranu komputera i mapuje jego elementy w przestrzeni, tak aby następnie precyzyjnie umieścić obiekt na nowej warstwie Photoshopa. Na dziś rozwiązanie działa tylko w aplikacji Adobe, ale nie powinno być problemu, aby zaimplementować to rozwiązanie także w innych programach. 

Początek drogi

Na chwilę obecną kopiowanie obiektu trwa około 2,5 s a wklejanie 4 s, ale programista zapewnił, że to da się to usprawnić i znacząco przyśpieszyć, potrzeba tylko trochę więcej czasu, aby całość dopracować. Poprosił także osoby, którym podoba się to rozwiązanie o przesyłanie pytań i sugestii oraz zapowiedział kolejny prototyp na przyszły tydzień. Biorąc pod uwagę, że bardzo szybko odezwali się deweloperzy aplikacji Photoroom, która służy do usuwanie teł ze zdjęć, całkiem możliwe, że droga od prototypu do gotowego produktu może okazać się relatywnie szybka.

Wydaje się też, że do tego typu zastosowań szczególnie przydatny może być skaner LIDAR, który zaczyna pojawiać się w nowych urządzeniach Apple. Na dziś ma go nowy iPad Pro, ale wiele wskazuje, że na jesieni dostaną go także nowe iPhony. To niepozorne urządzenie może przyśpieszyć i zwiększyć precyzję wycinania obiektów 2D, ale także otwiera możliwość do zabawy z obiektami zeskanowanymi w trzech wymiarach. Jednak nawet taka podstawowa funkcjonalność jak zaprezentowano mogłaby mocno usprawnić pracę grafikom, projektantom czy choćby… uczniom i studentom.

Ze wszystkich dotychczas zaprezentowanych rozwiązań AR i VR, to podoba mi się najbardziej.  Zresztą chyba nie tylko mi, film obejrzało dotychczas ponad 4 mln osób, a komentarze pod twittem są jednoznacznie pozytywne. Zdecydowanie warto kibicować tego typu, mogącym znaleźć praktyczne zastosowanie, rozwiązaniom.

Link do projektu na GitHub:
https://github.com/cyrildiagne/ar-cutpaste…