22

Dźwiękowa rewolucja w grach? Kraków walczy o nową jakość!

Skulony chowasz się za grubym dębowym blatem przewróconego w pośpiechu stołu. Słyszysz, jak wystrzeliwane z kałasznikowa kule wbijają się w drewno lub bzyczą Ci koło uszu, uderzając w betonową ścianę za Twoimi plecami i niebezpiecznie rykoszetując. Twój wróg czai się za rogiem ciasnego korytarza, strzelając do Ciebie na ślepo. Nagle dostrzegasz swoją szansę – ściany po tamtej stronie zrobione są z cienkich gipsowych płyt. Sięgasz po pistolet, strzelasz i słyszysz, […]

Skulony chowasz się za grubym dębowym blatem przewróconego w pośpiechu stołu. Słyszysz, jak wystrzeliwane z kałasznikowa kule wbijają się w drewno lub bzyczą Ci koło uszu, uderzając w betonową ścianę za Twoimi plecami i niebezpiecznie rykoszetując. Twój wróg czai się za rogiem ciasnego korytarza, strzelając do Ciebie na ślepo. Nagle dostrzegasz swoją szansę – ściany po tamtej stronie zrobione są z cienkich gipsowych płyt. Sięgasz po pistolet, strzelasz i słyszysz, jak Twój przeciwnik z jękiem osuwa się na ziemię… Witaj w grze komputerowej. Dlaczego wygrałeś tę potyczkę? Dzięki fizyce otaczającego Cię świata. A gdyby tak…

No właśnie, a gdyby tak sięgnąć dalej i nakazać silnikowi gry zarządzanie… dźwiękiem? Coraz częściej bowiem gracze stwierdzają, że oprawa audio nie jest już w elektronicznej rozrywce sprawą wtórną. Wystarczy przypomnieć, że już gry na Playstation 2 miewały dźwięk rozparcelowany na system 5.1 (czyli pięć głośników plus subwoofer).

Sęk w tym, źe dźwięki to wcześniej nagrane pliki audio, które są niezmienne. Można ewentualnie podpiąć je pod algorytm, który określi, na ile mają być głośne – zaleznie od tego, jak daleko od nas znajduje się ich źródło. Zacny sposób, ale jednak dziś to już trochę za mało – szczególnie, że pod strzechy wchodzą już naprawdę dobre słuchawki w systemie 5.1.

Naprzeciw pędzącej technologii i zwiększającym się potrzebom użytkowników wyszli właśnie rodzimi naukowcy z Akademii Górniczo-Hutniczej w Krakowie – mieście, które z polską branżą gier komputerowych związane jest silnie i zdrowo. Pracują bowiem nad systemem, któy pozwoli emitować dźwięki odpowiednio modulowane w zależności od wirtualnej przestrzeni w grze.

Twórcy gier zwykle stawiają na grafikę, a dźwięk jest tylko jej dopełnieniem. My chcemy, by również dźwięk i sposób, w jaki on się rozchodzi, były dla gracza źródłem informacji. (źródło)

Inicjatywa nosi nazwę RAYAV (Raytracer Audio i Video) i jest projektem badawczym konsorcjum firmy Teyon i AGH. Efektem badań i prac ma być hybrydowy renderer obrazu i dźwięku na potrzeby gier komputerowych. Część audiofoniczna tworzona jest w Zespole Przetwarzania Sygnałów Katedry Elektroniki AGH. Całość realizowana jest w ramach programu Innotech Narodowego Centrum Badań i Rozwoju.

Co da nam ten projekt? Jeszcze większą możliwość immersji, bowiem dźwięk również wpływa na poziom realizmu gry. Fale audio inaczej rozchodzą się na otwartej przestrzeni, inaczej w wąskim korytarzu. Głosy osób rozmawiających za drzwiami brzmią inaczej, ale gdy nagle wejdziemy do pomieszczenia, powinniśmy rozmówców usłyszeć wyraźniej. Przykłady takie można mnożyć bez końca. Najważniejsze jest to, iż nie mamy do czynienie jedynie z gadżetem, ale z poważnym narzędziem, które pozwoli graczom orientować się w wirtualnym otoczeniu na podstawie dźwięku!

„To projekt naukowy, ale nastawiony na wdrożenie – mówi Bartosz Ziółko. – Chodzi o to, by zautomatyzować część związanej z dźwiękiem pracy przy produkcji gier komputerowych. Teraz projektant dźwięku musi bardzo wiele efektów modyfikujących dźwięki ustawiać ręcznie na planszy gry i ustalać moment ich uruchomienia. Nasze rozwiązanie wprowadzi system obliczeniowy, który będzie modyfikował dźwięk w zależności od tego, jak daleko się jest od jego źródła, czy jak rozchodzi się dźwięk w pomieszczeniu. To byłoby obliczane na bieżąco, w trakcie gry. Chodzi o bardziej realistyczne oddanie przestrzeni” – mówi. Taki system sprawiłby, że raz nagrany głos mógłby być odtworzony w dowolnym pomieszczeniu w grze i za każdym razem będzie się rozchodził w sposób odpowiedni dla danego otoczenia. (źródło)

Projekt podzielony jest na cztery grupy zadaniowe.

Geometria

To działka prac nad symulacją propagacji dźwięku. Tutaj naukowcy stoją przed wyzwaniem zbalansowania dokładności symulacji a jej szybkości.

Efekty

To działka odpowiedzialna za analizę i implementację zjawisk akustycznych w realnej przestrzeni.

Synteza

Próba zebrania wszystkich informacji w jedną całość. Dźwięki, które słyszymy, przebywają różne odległości (co wynika z geometrii) i mają różną charakterystykę. Dopiero zebranie wszyskich danych umożliwi wygenerowanie dźwięku zgodnego z pełnym obrazem akustyki w danym punkcie przestrzeni.

Muzycy

Tutaj realizowane są nagrania, tworzona baza dźwiękowa i przeprowadzane badania percepcji akustyki.

Soundtracing pozwoli na precyzyjną i wydajną obróbkę dźwięku na architekturach wielordzeniowych uwzględniającą rzeczywiste odbicia od ścian, tłumienia na przeszkodach, obliczanie precyzyjnego echa i generowanie wielu źródeł dźwięku w sposób automatyczny. (źródło)

Przykład modelowania wiązki dźwięku w pomieszczeniu

Udźwiękowienie oferowane przez projekt RAYAV opiera się na alternatywnej metodzie udźwiękowienia scen. Obecnie, ze względów wydajnościowych, najczęściej używane metody zakładają ręczną lub półautomatyczną modyfikację nagrań w celu dopasowania do warunków sceny. Polega ona na filtrowaniu dźwięku parametrami przypisanymi określonej kategorii pomieszczeń: np duża hala, korytarz, itp. W przypadku projektu RAYAV koncepcja polega na zbudowaniu modelu sceny akustycznej, w sposób zbliżony do budowy sceny graficznej. Parametry dla dźwięków na danej scenie są przeliczane na bieżąco poprzez rekonstrukcję trasy dźwięku (w oparciu o odbicia, załamania, przejścia) w określonej dynamicznej scenerii (zarówno zmiana geometrii sceny, jak również zmiana pozycji i parametrów źródeł dźwięku). Te spośród dźwięków, które dochodzą do odbiorcy są łączone i odgrywane. Program w sposobie działania zbliżony jest więc do narzędzi takich jak CATT Acoustics, przy czym obliczenia wykonywane są w czasie rzeczywistym. (źródło)

Jak potoczą się komercyjne losy projektu, dziś jeszcze nie wiemy. Na pewno jednak badania AGH i oparte na nich prace mogą przyczynić się do zwiększenia realizmu w grach. Czy system będzie na tyle dobry, by podbić światowy game developement? Za to trzymam kciuki!

  • Arkadiusz Rychliński

    Nie wiem czy nie jest tak, że lata temu ten właśnie problem został zaadresowany w bibliotece OpenAL (odpowiednik OpenGL ale do modelowania sceny dla dźwięku) a sprzętowo realizowane przez układy Emu10K1 i Emu10K2 – efekt prac firmy Creative (marka SoundBlaster itp).

    Wtedy praktycznie zmarnowane. Może dopiero teraz przyszedł czas na poważne modelowanie otoczenia dźwiękowego. A może nic z tego nie będzie.

  • Mariusz Chw

    Z tego co kojarzę w Unity3D jest możliwość modulowania dźwięku w zależności od jego źródła oraz lokalizacji (wybuch za zamkniętymi drzwiami itp.). Nie wiem na ile to rozwiązanie jest innowacyjne. Może ktoś doświadczony w temacie Unity3D pociągnie tę kwestię?

    • Tomasz Woźniak

      To o czym mowisz, to jest wlasnie sposob w jaki sie to robi do tej pory – na dzwiek nakladasz filtr/preset w zaleznosci od tego jaki SYMULOWAC efekt, a silnik (w tym wypadku Unity) odpowiednio scisza dzwiek w zaleznosci od odleglosci i ustawia w panoramie w zaleznosci od kierunku. W zaden sposob jednak tor jakim ten dzwiek sie przemieszcza nie jest sledzony. Unity nie sprawdza czy dzwiek dochodzi zza dzrwi, zza okna, z sasiedniego pomieszczenia itd. Jezeli chcesz wybuch zza zamknietych drzwi to musisz nalozyc na zrodlo filtr gornozaporowy. W skrocie, dla dzwieku oddalonego o x, dostaniesz taki sam efekt bez wzgledu na to czy dzieli Cie od niego 10 scian, czy zero. Geometria Twojej sceny nie ma znaczenia.

      RAYAV stosuje podejscie polegajace na sledzeniu wiazki „dzwieku” tzn. jej drogi odbic, propagacji itp. od zrodla do ucha. Przebyta droga, wspolczynniki pochalaniania poszczegolnych powierzchni itd. sa brane pod uwage i na ich podstawie kreowana barwa dzwieku, ktora slyszysz. Geometria Twojej sceny jest wiec czynnikiem decydujacym.

  • Andrzej Libiszewski

    Z innych wiadomości, Elvis wciąż nie żyje.

    Co to w ogóle za news? Przecież to potrafił już silnik Aureal 10 lat temu!

    • alladyn

      To czemu do dziś nie ma tego w grach?

    • Andrzej Libiszewski

      Bo Creative wyciął Aureala, a Microsoft w Viście wyciął w ogóle wsparcie dla sprzętowego pozycjonowania dźwięku, sprowadzając dowolnie zaawansowane karty do roli zwykłych przetworników DC/AC.
      Dając dziś możliwość wynajdywania koła na nowo.

  • To są rozwiązanie już testowane i wprowadzane ponad dekadę temu, pod koniec ubiegłego wieku. Pozycjonowanie 3D na wiele głośników, na słuchawkach stereo (z użyciem HRTF), occlusions, obstructions to wszystko zamierzchłe tematy. Wystarczy poguglować o; A3D, EAX, OpenAL. Od tego czasu okazało się, że nie jest to właśnie to, czego dźwiękowcy najbardziej w grach potrzebują.

    • Juras

      Nie psuj atmosfery :). Niech gawiedź czyta o dzielnych polskich naukowcach poszukujących dzielnie rozwiązań problemów, które już dawno zostały rozwiązane :)

    • Zbyszek

      Chyba nie przeczytałeś artykułu; to, co podałeś, ma się nijak do tego, co tu opisali. Kiedyś taki raytracing nie był nawet możliwy w czasie rzeczywistym, bo moc obliczeniowa komputerów była zbyt mała. Dlatego wszystkie gry korzystają z rasteryzacji do wyświetlania grafiki i całe oświetlenie muszą robić naokoło. To samo tyczy się dźwięku, ale jego specyfika jest trochę inna. Czekam z niecierpliwością, jak projekt się rozwinie.

    • Bu

      Wydaje mi się, że chodzi o bardziej niskopoziomowe modelowanie -> lepsze efekty.

    • Tomasz Woźniak

      Niestety , nie wiesz o czym mowisz. Mowisz o rozwiazaniach sprzetowych nie majacych absolutnie zadnego zwiazku z technikami kreowania sceny dzwiekowej na podstawie sceny w grze w czasie rzeczywistym.

    • tosiabunio

      Obstruction and Occlusion, czyli uwzględnianie sceny w gry w procesie kreowania dźwięku w czasie rzeczywistym były częścią standardu EAX 2.0, który pojawił się w 1998 roku. Więc nie jest to wcale taka nowość, bo temat ten podejmowano, jak widać, ponad 15 lat temu. No, ale co ja tam się mogę na tym znać…

      Nie twierdzę, że nie warto zająć się tym ponownie, niemniej jednak, ktoś już temat podejmował i jakoś średnio się te rozwiązania przyjęły. Ale zawsze można to zrobić lepiej.

    • Tomasz Woźniak

      Przyjely sie srednio, poniewaz nie tylko wymagana byla kompatybilna karta dzwiekowa, ale tez efekty z czasem przestaly byc zadowalajace. Powodem jest to, ze 10 lat temu nie bylo mocy obliczeniowej zeby uzyc techniki ktora dawala by naprawde realistyczne efekty w czasie rzeczywistym, takiej jak wlasnie np. sledzenie wiazek, ktorej uzywa Rayav. Tak wiec mimo to, ze wyglada to na wynalezienie kola na nowo, to tak naprawde jest to calkiem inna technologia. W dodatku calkowicie niezalezna od karty dzwiekowej.

  • Bu

    Jak to będzie kolejny EAX, który będą chcieli wciskać do sprzętu jako „””standard”””, to będę klął. Niech EAX-owi gleba ciężką będzie, a i sam dział dźwiękowy Creative zbiera i będzie zbierał cięgi od serii Asus Xonar.

    • Tomasz Woźniak

      Rayav to silnik dzwiekowy, ktory beda mogli uzyc developerzy do swoich gier, a nie technologia w karcie dzwiekowej.

    • Karta z EAX nie robiła dźwięku przestrzennego za twórców gier, a sam EAX nie stanowił standardu „wyłącznie sprzętowego”, więc komentarz nie na miejscu. Chodziło mi tylko o to, że często przy opracowywaniu nowych technik audio pojawia się zaraz firemka X, która chce z danej implementacji zrobić tę jedyną.

      Nie dziwię się też, że rozpoczęły się prace nad takim silnikiem. Mamy drugą dekadę XXI wieku, a gry obsługujące EAX 3+ potrafią zmniejszać głośność dźwięku o połowę tylko dlatego, że gracz odwraca się plecami do źródłą dźwięku. Albo ucinają dźwięk kompletnie po przejściu przez drzwi, nawet przy ustawieniu wysokiej liczby jednocześnie przetwarzanych źródeł dźwięku.

    • Tomasz Woźniak

      W takim razie zle zrozumialem Twoja wypowiedz, moze dlatego, ze EAX nie-sprzetowy to marna imitacja. Co do reszty komentarza, trudno sie nie zgodzic. Tak jest zreszta nie tylko z EAX-em, wiekszosc najnowszych tytulow traci na braku realistycznego dzwieku. Tylko nieliczne tytuly, daja to wrazenie, ze do oprawy dzwiekowej sie przylozono – i takie tytuly raczej strzeza dobrze swojej tajemnicy (np. DICE). Wciaz jednak sa to glownie autorskie rozwiazania, a nie komercyjne – miejmy nadzieje, ze RAYAV wypelni ta luke.

    • Z dobrze dopracowanych dźwiękowo polecam Amnesia A Machine for Pigs. Technikalia (silnik) jednak na średnim poziomie. Czyste OpenAL pewnie.

      Możesz podlinkować coś więcej o rozwiązaniach DICE? Rozumiem, że chodzi o firmę tworzącą gry, a nie jakąś grę „DICE”.

    • Tomasz Woźniak

      Tak, oczywiscie mialem na mysli DICE firme :) Niestety oni wlasnie strzega mocno detali technicznych na temat swojego audio – mysle ze maja ku temu powody. Najwiecej co mozna „przeczytac” to na http://dice.se/publications/. Moge tez podrzucic link do strony czlowieka odpowiedzialnego za oprawe dzwiekowa w Machine for Pigs wlasnie i wspoltworce audio w najnowszym BF-ie od DICE http://www.samueljustice.net/blog-2/

    • Dziękuję!

  • zenek73

    Niestety na sluchawkach tylko nagrywanie ze sztuczną głową daje rade. Ale gier to chyba w tym systemie nie ma.
    No i śp. Aureal wykupiony i ubity przez Creativa (gdzieś nadal mam kartę z ich technologią) jeszcze w miarę dawał radę.
    Uważam że słuchanie na słuchawkach jest super sprawą zwłaszcza o 23 w nocy w bloku gdy KULTURALNI ludzie nie oglądają filmów na swoim systemie audio 7+1.

  • Pasiasty

    Słuchawki 5.1 to sobie Panie pod poduszkę włóż albo między bajki. Mamy dwoje uszu, a słuchawki przylegają do nich bezpośrednio. Nie ma możliwości oddania lokalizacji źródeł dźwięku za pomocą 5 przetworników w słuchawce. Zdecydowanie lepiej robią to wysokiej klasy słuchawki stereo na zasadzie różnic fazowych prawego i lewego sygnału.

    Taka fizjologia nasza, a słuchawki 5.1 to niezły chwyt marketingowy. Ich brzmienie można sobie zaserwować na zwykłych słuchawkach przepuszczając sygnał przez jakiegoś crossfeeda czy podobne algorytmy.