Kopiuj – wklej 3D
Cyril Diagne to projektant i programista pracujący w Google Arts & Culture Lab w Paryżu. Zamiast pójść drogą większości deweloperów bawiących się w Augmented Reality, wymyślających jakby tu jeszcze inaczej wstawić nieistniejące obiekty do wyświetlanego na ekranie urządzenia „prawdziwego świata”, zrobił dokładnie odwrotnie. Jego aplikacja pozwala skopiować obraz istniejących w rzeczywistości obiektów i wkleić do programu otwartego na jeszcze innym urządzeniu.
Do prezentacji użyto prawdopodobnie telefonu Google Pixel 4, który „skanował” obiekty z biura i wklejał na kolejne warstwy Photoshopa, otwartego na MacBooku Pro. Nie dość, że cała operacja wygląda bardzo efektownie, to po dopracowaniu tej technologii może być świetnym narzędziem dla wszelkiej maście grafików, projektantów, marketingowców.
4/10 – Cut & paste your surroundings to Photoshop
Code: https://t.co/cVddH3u3ik
Book: @HOLOmagazine
Garment: SS17 by @thekarentopacio
Type: Sainte Colombe by @MinetYoann @ProductionType
Technical Insights: ↓#ML #AR #AI #AIUX #Adobe #Photoshop pic.twitter.com/LkTBe0t0rF— Cyril Diagne (@cyrildiagne) May 3, 2020
Prototyp gotowy do testów
Programista udostępnił całość dotychczas zrealizowanych prac na GitHubie i szczegółowo opisał sposób jego działania.
Cały system składa się z trzech głównych elementów:
- aplikacji mobilnej,
- serwera lokalnego, który odpowiada za komunikację z Photoshopem,
- modułu odpowiadającego za wycinanie i usuwanie tła.
Na chwilę obecną do wycinania obiektów programista używa oprogramowania dostarczanego przez zewnętrzny serwer, opartego o model BASNet, ale jak zaznaczył, docelowo chciałby aby cały proces odbywał się bezpośrednio w aplikacji mobilnej. Po wycięciu danego elementu aplikacja wykonuje zdjęcie ekranu komputera i mapuje jego elementy w przestrzeni, tak aby następnie precyzyjnie umieścić obiekt na nowej warstwie Photoshopa. Na dziś rozwiązanie działa tylko w aplikacji Adobe, ale nie powinno być problemu, aby zaimplementować to rozwiązanie także w innych programach.
Początek drogi
Na chwilę obecną kopiowanie obiektu trwa około 2,5 s a wklejanie 4 s, ale programista zapewnił, że to da się to usprawnić i znacząco przyśpieszyć, potrzeba tylko trochę więcej czasu, aby całość dopracować. Poprosił także osoby, którym podoba się to rozwiązanie o przesyłanie pytań i sugestii oraz zapowiedział kolejny prototyp na przyszły tydzień. Biorąc pod uwagę, że bardzo szybko odezwali się deweloperzy aplikacji Photoroom, która służy do usuwanie teł ze zdjęć, całkiem możliwe, że droga od prototypu do gotowego produktu może okazać się relatywnie szybka.
Wydaje się też, że do tego typu zastosowań szczególnie przydatny może być skaner LIDAR, który zaczyna pojawiać się w nowych urządzeniach Apple. Na dziś ma go nowy iPad Pro, ale wiele wskazuje, że na jesieni dostaną go także nowe iPhony. To niepozorne urządzenie może przyśpieszyć i zwiększyć precyzję wycinania obiektów 2D, ale także otwiera możliwość do zabawy z obiektami zeskanowanymi w trzech wymiarach. Jednak nawet taka podstawowa funkcjonalność jak zaprezentowano mogłaby mocno usprawnić pracę grafikom, projektantom czy choćby… uczniom i studentom.
Ze wszystkich dotychczas zaprezentowanych rozwiązań AR i VR, to podoba mi się najbardziej. Zresztą chyba nie tylko mi, film obejrzało dotychczas ponad 4 mln osób, a komentarze pod twittem są jednoznacznie pozytywne. Zdecydowanie warto kibicować tego typu, mogącym znaleźć praktyczne zastosowanie, rozwiązaniom.
Link do projektu na GitHub:
https://github.com/cyrildiagne/ar-cutpaste…
Więcej z kategorii Rzeczywistość rozszerzona:
- Wynajął zamek, zaprosił znajomych i stworzył działającą mapę Huncwotów z Harry'ego Pottera
- Oppo się rozwija i to dosłownie. Tak wygląda przyszłość smartfonów?
- Apple bez konkurencji jeszcze przed wejściem na nowy rynek
- Apple Glass - duży wyciek informacji o okularach AR z Cupertino
- Mojo Vision - soczewka w której poczujesz się jak Terminator lub stracisz zainwestowaną kasę