Sztuczna inteligencja od Apple zamieni tekst na trójwymiarowe wizualizacje

Jeden z członków zespołu Apple zajmującego się zagadnieniami związanymi z rozwijaniem sztucznej inteligencji pochwalił się na Twitterze nowym narzędziem do generowania realistycznych modeli 3D. Umożliwia tworzenie trójwymiarowych wizualizacji wnętrz na podstawie komunikatów tekstowych.

Jeden krok bliżej do wirtualnej rzeczywistości od Apple?

GAUDI to model generatywny opracowany przez zespół badaczy z Apple odpowiedzialnych za uczenie maszynowe. W odróżnieniu od popularnych narzędzi do generowania obrazów pokroju DALLE-E, opiera się na trudniejszych do opracowania modelach 3D. GAUDI czerpie wzorce z algorytmu NeRF od NVIDII (o którym szerzej pisałem w tej publikacji), zamieniającej dwuwymiarowe obrazy na obiekty 3D.

Narzędzie wykorzystywane było do tej pory przykładowo do zamieniania zdjęć obiektów architektonicznych w ich trójwymiarowe wizualizacje. AI wystarczyły fotografie opatrzone informacją, pod jakim kątem zostały wykonane. Apple chce przenieść się do środka tych obiektów i umożliwić generowanie immersyjnego „room tour”. Na podstawie wgranych skanów pomieszczenia sztuczna inteligencja przewiduje trójwymiarową reprezentację danego obiektu, a narzędzie zwane dekoderem pola „nakłada” na nią kolejny obraz za pomocą renderowania wolumetrycznego.

Sztuczna inteligencja trenowana w ten sposób jest w stanie wygenerować trójwymiarową wizualizację pomieszczenia, wywoływaną przykładowo przez hasła „przejdź przez korytarz” lub „idź schodami w górę”. Na poniższym tweecie możecie zobaczyć jak GAUDI radzi sobie ze scenami 3D na obecnym etapie.

Czytaj dalej poniżej

Zuckerberg uważa, że Apple stanowi dla Meta konkurencję. Firmy mają określić kierunek, w jakim podąży Internet Patryk Koncewicz

Klocki są, ale trzeba je spiąć, czyli czego brakuje mi w ekosystemie Apple Krzysztof Kurdyła

Na pierwszy rzut oka widać, że wideo generowane przez AI jest dość niskiej rozdzielczości i zdarza mu się przedstawiać niektóre elementy w zniekształcony sposób, jednak trzeba pamiętać, że technologia wciąż znajduje się w fazie rozwojowej. W przyszłości może znaleźć zastosowanie przy projektach związanych z rozszerzoną rzeczywistością, na przykład okularach VR, które według plotek Apple zaprezentuje w niedalekiej przyszłości.

Stock image from Depositphotos