Sztuczna inteligencja Facebooka nauczyła się targować i wymyśliła swój własny język

FAIR czyli Facebook Artificial Intelligence Research zgodnie z opisem na oficjalnej stronie, poszukuje sposobów zrozumienia oraz tworzenia inteligentnych systemów. W filmiku promocyjnym możemy usłyszeć jak Yann Lecun mówi, że umiejętność uczenia się sprawia iż jesteśmy inteligentni. Jeżeli natomiast chodzi o uczące się systemy, w pewnym stopniu zastosowania znajdują tam inspiracje pochodzące ze świata biologii. Jednak tylko w pewnym stopniu, ponieważ nikt nie próbuje tworzyć rozwiązań, które będą imitować np. ludzi – mówił o tym chociażby Gregg Corrado na spotkaniu zorganizowanym przez Google, podczas którego opowiadał o zagadnieniach związanych ze sztuczną inteligencją oraz uczeniem maszynowym.

Skoro eksperci są zgodni co do tego, że Artificial Intelligence to próby tworzenia maszyn użytecznych dla ludzi, to warto pochylić się nad najnowszymi osiągnięciami opisanego powyżej Facebook Artificial Intelligence Research. Na zaprezentowanym wyżej filmiku mogliśmy zobaczyć ciekawy przykład tego, jak uczenie maszyn rozpoznawania tego co znajduje się na zdjęciach, może zostać wykorzystane przez osoby niewidome – zyskują możliwość usłyszenia o tym co przedstawia dane zdjęcie.

Najnowsze prace FAIR związane z umiejętnością negocjowania

Co jeszcze? Rozpoznawanie obrazków jest naprawdę fajnie i świetnie demonstruje „magię” związaną z uczeniem maszyn… bo jeżeli mogą posiąść umiejętność, która jeszcze jakiś czas temu była zarezerwowana wyłącznie dla ludzi, to chyba mogą nauczyć się… niemal wszystkiego? Właśnie stąd pytanie „co jeszcze?”, czy panowie z FAIR mają coś czym chcieliby się jeszcze pochwalić? Odpowiedź brzmi: zdecydowanie tak.

Negocjowanie? To coś wyjątkowo ludzkiego, komputery tego nie potrafią

Powyższy śródtytuł mógłby uchodzić za wypowiedź jakiegoś człowieka, który zostałby zapytany o to czy jego zdaniem komputery są w stanie negocjować. Niestety albo i „stety”, negocjacje mogą być prowadzone z powodzeniem przez sztuczną inteligencję.

Czytaj dalej poniżej

Uważasz, że Facebook wie o Tobie wszystko? Spójrz tylko na to... Jakub Szczęsny

Ogromny wyciek dokumentów z Facebooka - jak cenzurować treści? Marcin Hołowacz

Pracownicy Facebooka zaprezentowali agentowi AI pulę różnych obiektów: piłki, kapelusze, książki itp. dodatkowo wyposażyli go w informacje o różnej wartości tych rzeczy. Dzięki temu agent nie będzie traktował wszystkiego w taki sam sposób i będzie miał swoje priorytety, tzn. będzie mu zależało np. na piłce, której przypisano największą wartość. Inna sprawa, że drugi agent może otrzymać inne priorytety i jego cele będą trochę inne – oczywiście agent nr 1 nie ma pojęcia o tym, co ma największą wartość dla agenta numer 2.

Komunikacja takich agentów przebiega za pośrednictwem tekstu na przeznaczonym do tego chacie, dlatego możemy stosować również określenie… chatbot. Możliwe są zarówno negocjacje między dwoma agentami, jak i negocjacje prawdziwego człowieka z agentem AI.

Niech gra w negocjowanie się rozpocznie!

Pora przejść do tego co najciekawsze, czyli efektów tego przedsięwzięcia. Przede wszystkim chatboty nie otrzymywały konkretnych instrukcji o tym w jaki sposób mają negocjować, nie implementowano im określonych technik, którymi miały się posługiwać. Dlatego ciekawe jest to, że agenci zaczęli blefować i sami się tego nauczyli. Przykładowo, jeżeli mamy sytuację, w której wartość książek wynosi „0” dla agenta numer 1, to nie oznacza to, iż w rozmowie od razu pozwoli drugiej stronie odnieść takie wrażenie, wręcz przeciwnie… Agent zacznie udawać, że książki mają dla niego wartość i np. na początku rozmowy będzie się o nie starał. Później natomiast pójdzie na ustępstwo, zrezygnuje z książek i zostanie przy samych piłkach. Najlepsze jest to, że od samego początku chodziło mu tylko i wyłącznie o piłki, a taka iluzja kompromisu miała mu tylko posłużyć do osiągnięcia jak najlepszego wyniku w negocjacjach.

Mike Lewis z FAIR, w swojej wypowiedzi dla Inverse tłumaczy:

Modele nie były trenowane w wykorzystywaniu określonych strategii negocjacyjnych. To co zrobiliśmy, było wyposażeniem ich w umiejętność uczenia się z doświadczeń oraz planowania z wyprzedzeniem, co z kolei pozwoliło im na wynalezienie swoich własnych strategii, które mogą doprowadzić do osiągnięcia celu.

Reklama

Uczenie maszynowe doprowadziło do powstawania nowego języka…

Chatboty nauczyły się negocjować i wykorzystywały do tego język angielski. Stały się w tym na tyle dobre, że ludzie nie potrafili nawet odróżnić czy właśnie prowadzą rozmowę z innym człowiekiem, czy też jest to agent AI. Poza tym, taki chatbot był zdolny do osiągania kompromisów, a nawet blefowania. Fascynujące, ale to nie wszystko.

Podczas treningu, który polegał na negocjacjach jednego agenta z drugim agentem i wykorzystywaniu przy tym uczenia przez wzmacnianie (reinforcement learning), doszło do czegoś niespodziewanego… chatboty zaczęły odbiegać od prawdziwego języka i stworzyły swój własny, niezrozumiały dla ludzi, nieistniejący język, który pozwalał im na lepsze prowadzenie negocjacji i osiąganie swoich celów. W związku z tym zespół z FAIR zrozumiał, że w takim treningu agenta z agentem nie mogą dawać im przesadnie dużej swobody i jeden z nich musi się opierać na fixed supervised model (uczenie nadzorowane), bo inaczej „chłopaki za bardzo odpływają” (czyt. wymyślają swój własny język).

Źródło 1, 2, 3, 4