Perceptual computing, czyli o komunikacji z maszyną

Komunikacja dwóch osób zazwyczaj bazuje na kilku zmysłach, czasem nawet na wszystkich. Dzięki temu łatwiej można przekazać konkretne informacje lub je uzyskać i zrozumieć. Ten sam mechanizm nie jest póki co wykorzystywany w interakcji człowiek-maszyna, więc możliwości poznawcze obu stron są poważnie ograniczone. Powoli zaczyna się to zmieniać, a efektem może być poszerzenie naszych możliwości w świecie nowych technologii przy jednoczesnym ułatwieniu zrozumienia świata przez urządzenia. Tylko teoria? Zdecydowanie nie - praktycznych przykładów przybywa z każdym dniem.

Artykuł powstał przy współpracy merytorycznej z Intelem – partnerem technologicznym Antyweb

Kilka miesięcy temu zmarł Douglas Engelbart. Wielu osobom nic to nazwisko nie mówi (do niedawna należałem do tej grupy), ale to właśnie on pół wieku temu stworzył prototyp myszy komputerowej, która w znacznym stopniu wpłynęła na rozwój sektora nowych technologii. Nie będzie przesadą stwierdzenie, że z pomocą myszy kreowano tę branżę. Engelbart zajmował się także tworzeniem interfejsu graficznego – można zatem nazwać go jednym z ojców komunikacji na linii człowiek – maszyna. Komunikacji, która przez dekady właściwie nie ulegała przeobrażeniom i bazowała na kilku sprawdzonych rozwiązaniach. Nadal stosujemy klawiaturę i mysz komputerową, ale jednocześnie ludzie szukają nowych sposobów porozumiewania się z otaczającymi nas urządzeniami.

W jaki sposób odbieramy informacje, jakie przekazuje nam maszyna (komputer, tablet, smartfon)? Zazwyczaj wykorzystujemy do tego więcej niż jeden zmysł: widzimy, słyszymy, reagujemy przez dotyk, prowadzone są prace nad telewizorami/komputerami/automatami przekazującymi zapachy. Ogólnie rzecz ujmując: nie jest źle, a będzie lepiej. Teraz warto spojrzeć na to zagadnienie z drugiej strony: w jaki sposób maszyna odbiera przekazywane przez nas dane? W tym przypadku można już mówić o znaczne większych ograniczeniach. Przez dekady bazowaliśmy na dotyku (klikanie, stukanie w klawiaturę) i nadal jest on dominujący. Zmienia się co prawda forma i coraz częściej wykorzystujemy w codziennym życiu wyświetlacze dotykowe, ale nadal bazujemy na tym samym zmyśle. Musi nastąpić fizyczny kontakt, by sprzęt mógł nas zrozumieć. Musi?

Na dotyku świat się nie kończy

Na przestrzeni minionych kwartałów niejednokrotnie pisaliśmy o produkcie Leap Motion. Pojawiły się m.in. wpisy Krzysztofa i Jana, więc nie będę opisywał samej technologii – odsyłam do tekstów. W wielkim skrócie mogę jednak napisać, że chodzi o produkt, który odczytuje ruchy i gesty wykonywane przez ludzkie dłonie, a nawet palce i trzymane w nich przedmioty. Z jednej strony oznacza to sporą rewolucję w interakcji człowiek-maszyna i, zdaniem części komentatorów, stwarza spore możliwości. Z drugiej jednak strony nie brakuje głosów przekonujących, że rozwiązanie jest na dłuższą metę niepraktyczne, ponieważ człowiek nie jest przyzwyczajony do trzymania rąk w powietrzu przez dłuższy czas. To męczy, może nawet sprawiać ból. Pojawiały się zatem pytania, czy technologia znajdzie zastosowanie w praktyce? Częściową odpowiedź poznaliśmy kilka miesięcy temu, gdy okazało się, że z Leap Motion zamierza eksperymentować HP.

Czytaj dalej poniżej

Zamawianie jedzenia przez aplikację na TV. Gdzie są dobre pomysły na Smart TV? Grzegorz Marczak

CastAR - twój własny stół holograficzny niczym ze Star Wars za mniej niż 200$. Rewolucja wśród planszówek? Jan Rybczyński

Na efekty prac amerykańskiej korporacji nie musieliśmy długo czekać: w drugiej połowie września HP zaprezentowało notebook HP ENVY 17 Leap Motion SE, w którym, na co wskazuje nazwa, wykorzystano opisywaną technologię. Została ona oczywiście "podrasowana" (zmniejszono rozmiary gadżetu, by można go było bez problemu wkomponować w komputer), ale zastosowanie nie uległo zmianie: wydawanie komend za pomocą gestów. Można to wykorzystać zarówno do wykonywania prostych zadań, jak i do obsługi gier. Z czasem prawdopodobnie pojawi się więcej zastosowań dla tego projektu – zwłaszcza, że ma ono trafić do tabletów i smartfonów.

Projekt Leap Motion prezentuje się ciekawie, ale pojawiają się rozwiązania alternatywne, z którymi wiązane są jeszcze większe nadzieje. Przykład? Owoc współpracy firm Creative oraz Intel, czyli kamera Senz3D. Ten produkt jest dostępny na rynku już dzisiaj – można go kupić i skorzystać z udostępnionego SDK, by stworzyć coś świeżego, innowacyjnego i odmieniającego branżową rzeczywistość. W przyszłym roku wspomniana kamera trafi bezpośrednio do notebooków (zapowiedziały to korporacje Lenovo, HP, Dell oraz Asus), co jeszcze bardziej ją spopularyzuje i pokaże możliwości projektu większej rzeszy odbiorców. Mamy zatem ten sam "zabieg", co w przypadku Leap Mition (Senz3D również doczeka się miniaturyzacji i z czasem należy się jej spodziewać w sprzęcie mobilnym). Jakie właściwie możliwości stwarza ten produkt?

http://www.youtube.com/watch?v=9FB73PafuDY&feature=youtu.be

http://www.youtube.com/watch?v=5R8s_kUyxnk&feature=youtu.be

Trafiłem w Sieci na opinię, iż mamy do czynienia z "Kinectem na sterydach". Kamera może być wykorzystywana do rozpoznawania gestów i zarządzania w ten sposób sprzętem. Może też tworzyć modele 3D przestrzeni oraz konkretnych przedmiotów. Wystarczy sobie wyobrazić, że z czasem zostanie to wykorzystane w druku 3D. Nie trzeba już będzie projektować lub szukać gotowych projektów – wystarczy pokazać konkretny przedmiot maszynie, a ona wykona resztę pracy. Od skanowania rzeczy w trójwymiarze niedaleka droga do rozpoznawania twarzy, a to można wykorzystać np. jako zabezpieczenie w swoim komputerze. Rozwiązania biometryczne będą pewnie stosowane coraz częściej, co powinno stanowić jeden z kierunków rozwoju tego zagadnienia. Hasłem kluczem staje się w tym przypadku także rzeczywistość rozszerzona, ponieważ mieszanie świata realnego z wirtualnym stanie się jeszcze łatwiejsze.

http://www.youtube.com/watch?v=catt5ZHCnl4&feature=youtu.be

http://www.youtube.com/watch?v=AInGg0pu9fs&feature=youtu.be

Senz3D zapewne znajdzie zastosowanie w pracy, rozrywce, nauce – konkretne pomysły będą w tym przypadku dopiero kreowane, a sporą rolę w całym procesie mogą odegrać niezależni deweloperzy oraz mniejsze firmy, które zajmą się rozwojem technologii. Warto w tym miejscu podkreślić, że ten mechanizm bazuje na więcej niż jednym zmyśle. Maszyna może nie tylko "zobaczyć" człowieka (lub jakiś przedmiot), ale też usłyszeć go – kamerę uzupełnia system audio, co znacznie poszerza możliwości poznawcze. Skoro już o dźwięku mowa, to należy sprawdzić także ten kierunek rozwoju: czy możemy porozumiewać się z maszynami werbalnie?

Maszyna też może widzieć i słyszeć

Maszyny przekazujące nam informacje za pomocą dźwięku nie są niczym nowym. Póki co mamy oczywiście do czynienia z ich odtwarzaniem – maszyna nie jest jeszcze w stanie przekazać informacji bez mniejszego lub większego udziału człowieka. To zaczyna się oczywiście zmieniać, rozwijani są asystenci głosowi (nadal nie są oni niezależni) i widać na tym polu spore postępy. Pieniądze inwestują tu zarówno giganci pokroju Apple i Google, jak i mniejsze firmy oraz uczelnie, które dążą do stworzenia humanoidalnego interfejsu. Przykład stanowi tu opisywana kiedyś na AW Zoe. Ten projekt ma nie tylko przekazać informację, ale też zrobić to w sposób naturalny (z punktu widzenia człowieka), wykorzystując emocje, modulując głos i wchodząc z człowiekiem w interakcję. Jednych to fascynuje, innych przeraża, ale zbliżamy się do punktu, w którym nie będziemy w stanie rozróżnić mówiącego komputera od mówiącego człowieka.

Fakt, że człowiek zrozumie maszynę, nie oznacza jeszcze, że maszyna zrozumie mówiącego człowieka. Prace idą zatem dwutorowo, by w efekcie możliwa stała się komunikacja. Większość osób pytana o projekty tego typu wskaże zapewne Siri, czyli popularną asystentkę Apple. Warto zapoznać się jednak z innymi rozwiązaniami – np. z Nuance Dragon Assistant, czyli oprogramowaniem, które trafiło już do grupy komputerów firm Lenovo, Dell, Asus, Acer i Toshiba. Jak można wykorzystać Dragona? Odpowiedzi na to pytanie jest całkiem sporo, ale najlepiej prezentuje to poniższe filmy:

http://www.youtube.com/watch?v=UI-zcRgJ2xI&feature=youtu.be

http://www.youtube.com/watch?v=AyzglUuQ1Ww&feature=youtu.be

Jak widać z maszynami będzie można porozumiewać się za pomocą dźwięku, dotyku, gestu. Na tym jednak możliwości się nie kończą. Skoro komputer będzie w stanie rozpoznać ruchy ludzkich rąk, to podobne rozwiązania można przecież wykorzystać do śledzenia oczu użytkownika. Po co podnosić ręce, by skierować kursor na odpowiednią ikonę – przecież wystarczy na nią spojrzeć. Pomysły tego typu są wdrażane już dzisiaj i znamy je np. z niektórych smartfonów (przewijanie tekstu). Należy tu również przywołać szwedzką firmę Tobii, która chce wykorzystać ten pomysł w grach komputerowych czy w codziennej obsłudze komputera. Wielu osobom takie rozwiązanie może się wydawać mało interesujące, ale wystarczy sobie wyobrazić sparaliżowanego człowieka, który do kontaktu z otoczeniem wykorzystuje m.in. ruch gałek ocznych. Nie są to zatem jedynie eksperymenty i zabawy, ale próby ułatwienia życia i odnalezienia się w rzeczywistości nasyconej nowymi technologiami.

http://www.youtube.com/watch?v=4fvdBhPdhIU&feature=youtu.be

Naturalna, intuicyjna i wszechogarniająca komunikacja

Przywołane przed momentem przykłady wpisują się w zjawisko o nazwie Perceptual Computing. To pojęcie-wytrych, w którym skumulowano wiele planów, celów i projektów zakładających zdefiniowanie na nowo naszej komunikacji z urządzeniami. Chociaż temat rozwijany jest od pewnego czasu, to jeszcze nie zdajemy sobie sprawy z zakrojonych na szeroką skalę zmian, jakie szykują się w naszej rzeczywistości. Na swój sposób przypomina to zatem opisywany niedawno na AW Internet rzeczy. Perceptual Computing ma doprowadzić do stworzenia naturalnych interfejsów, które nie tylko ułatwią człowiekowi pracę i umilą rozrywkę, ale też podniosą na wyższy poziom interakcję człowieka i maszyny, obojętnie czy będzie to komputer, telewizor, pralka, czy samochód.

Poważną rolę w pracach nad wspominanymi technologiami chce odegrać Intel, stanowiący mianownik dla części przywołanych przed momentem projektów (np. Senz3D i Dragon Assistant). Korporacja za pośrednictwem Intel Capital utworzyła fundusz Intel Capital Experiences and Perceptual Computing Fund, którego celem jest wspieranie projektów wykorzystujących różne zmysły do komunikacji z maszynami. Na te cel w ciągu kilku lat ma zostać wydane 100 mln dolarów. Suma niebagatelna, ale stanowi ona zapewne część środków, jakie Intel oraz inne firmy przeznaczą na rozwój prezentowanego segmentu. Niektórzy uważają, że Perceptual Computing będzie w przyszłości stanowić jeden z filarów branży nowych technologii i trudno ignorować tę opinię.

http://www.youtube.com/watch?v=ugDR63wUxuA&feature=youtu.be

Wspomniany na początku Douglas Engelbart stworzył pół wieku temu mysz komputerową, która przez dekady stanowiła jeden z głównych sposobów komunikacji człowieka z elektronicznym otoczeniem. Nadal jest to niezwykle ważny element w "branży komputerowej" (choć można to już chyba rozszerzyć na całe nasze życie), ale zaczyna on tracić swą hegemonię. Nie zostanie oczywiście wyparty (przynajmniej nie w najbliższym czasie) – po prostu pojawią się rozwiązania, które go uzupełnia. Właśnie w tym należy upatrywać wyzwań, przed jakimi stają dzisiaj twórcy: wymieszanie i pogodzenie ze sobą różnych sposobów komunikacji. Tak, by odpowiadały one realiom, w jakich obecnie funkcjonujemy.

Zastąpienie myszy i klawiatury gestami czy komendami głosowymi nie miałoby większego sensu, ponieważ pojawiałyby się nowe możliwości, eliminujące przy okazji inne, czasem równie ciekawe lub jeszcze ciekawsze i bardziej przydatne. Celem jest zatem równoległy rozwój tych technologii oraz miksowanie ich ze sobą. Przecież nietrudno wyobrazić sobie sytuację, w której człowiek operuje myszką, a jej możliwości uzupełnia komendami głosowymi i ruchem gałek ocznych dla przyspieszenia/ułatwienia wykonywanej pracy. Intel chce, by nowe rozwiązania były wszechogarniające, intuicyjne oraz naturalne. Wiele wskazuje na to, że zmierzamy właśnie w tym kierunku i jest to proces nieodwracalny. Początkowo część użytkowników będzie pewnie ze sporym dystansem przyjmowała nowe rozwiązania, ale z czasem zaczną być one czymś naturalnym - mysz komputerowa czy ekrany dotykowe też wywoływały mieszane uczucia i nie brakowało sceptyków przekonujących, że to się nie przyjmie...

Źródło grafiki: patheos.com