sztuczna inteligencja
7

Sztuczna inteligencja Facebooka nauczyła się targować i wymyśliła swój własny język

Chatboty nauczyły się negocjować i wykorzystywały do tego język angielski. Stały się w tym bardzo dobre, ale to jeszcze nie wszystko.

FAIR czyli Facebook Artificial Intelligence Research zgodnie z opisem na oficjalnej stronie, poszukuje sposobów zrozumienia oraz tworzenia inteligentnych systemów. W filmiku promocyjnym możemy usłyszeć jak Yann Lecun mówi, że umiejętność uczenia się sprawia iż jesteśmy inteligentni. Jeżeli natomiast chodzi o uczące się systemy, w pewnym stopniu zastosowania znajdują tam inspiracje pochodzące ze świata biologii. Jednak tylko w pewnym stopniu, ponieważ nikt nie próbuje tworzyć rozwiązań, które będą imitować np. ludzi – mówił o tym chociażby Gregg Corrado na spotkaniu zorganizowanym przez Google, podczas którego opowiadał o zagadnieniach związanych ze sztuczną inteligencją oraz uczeniem maszynowym.

Skoro eksperci są zgodni co do tego, że Artificial Intelligence to próby tworzenia maszyn użytecznych dla ludzi, to warto pochylić się nad najnowszymi osiągnięciami opisanego powyżej Facebook Artificial Intelligence Research. Na zaprezentowanym wyżej filmiku mogliśmy zobaczyć ciekawy przykład tego, jak uczenie maszyn rozpoznawania tego co znajduje się na zdjęciach, może zostać wykorzystane przez osoby niewidome – zyskują możliwość usłyszenia o tym co przedstawia dane zdjęcie.

Najnowsze prace FAIR związane z umiejętnością negocjowania

Co jeszcze? Rozpoznawanie obrazków jest naprawdę fajnie i świetnie demonstruje „magię” związaną z uczeniem maszyn… bo jeżeli mogą posiąść umiejętność, która jeszcze jakiś czas temu była zarezerwowana wyłącznie dla ludzi, to chyba mogą nauczyć się… niemal wszystkiego? Właśnie stąd pytanie „co jeszcze?”, czy panowie z FAIR mają coś czym chcieliby się jeszcze pochwalić? Odpowiedź brzmi: zdecydowanie tak.

Negocjowanie? To coś wyjątkowo ludzkiego, komputery tego nie potrafią

Powyższy śródtytuł mógłby uchodzić za wypowiedź jakiegoś człowieka, który zostałby zapytany o to czy jego zdaniem komputery są w stanie negocjować. Niestety albo i „stety”, negocjacje mogą być prowadzone z powodzeniem przez sztuczną inteligencję.

Pracownicy Facebooka zaprezentowali agentowi AI pulę różnych obiektów: piłki, kapelusze, książki itp. dodatkowo wyposażyli go w informacje o różnej wartości tych rzeczy. Dzięki temu agent nie będzie traktował wszystkiego w taki sam sposób i będzie miał swoje priorytety, tzn. będzie mu zależało np. na piłce, której przypisano największą wartość. Inna sprawa, że drugi agent może otrzymać inne priorytety i jego cele będą trochę inne – oczywiście agent nr 1 nie ma pojęcia o tym, co ma największą wartość dla agenta numer 2.

Komunikacja takich agentów przebiega za pośrednictwem tekstu na przeznaczonym do tego chacie, dlatego możemy stosować również określenie… chatbot. Możliwe są zarówno negocjacje między dwoma agentami, jak i negocjacje prawdziwego człowieka z agentem AI.

Niech gra w negocjowanie się rozpocznie!

Pora przejść do tego co najciekawsze, czyli efektów tego przedsięwzięcia. Przede wszystkim chatboty nie otrzymywały konkretnych instrukcji o tym w jaki sposób mają negocjować, nie implementowano im określonych technik, którymi miały się posługiwać. Dlatego ciekawe jest to, że agenci zaczęli blefować i sami się tego nauczyli. Przykładowo, jeżeli mamy sytuację, w której wartość książek wynosi „0” dla agenta numer 1, to nie oznacza to, iż w rozmowie od razu pozwoli drugiej stronie odnieść takie wrażenie, wręcz przeciwnie… Agent zacznie udawać, że książki mają dla niego wartość i np. na początku rozmowy będzie się o nie starał. Później natomiast pójdzie na ustępstwo, zrezygnuje z książek i zostanie przy samych piłkach. Najlepsze jest to, że od samego początku chodziło mu tylko i wyłącznie o piłki, a taka iluzja kompromisu miała mu tylko posłużyć do osiągnięcia jak najlepszego wyniku w negocjacjach.

Mike Lewis z FAIR, w swojej wypowiedzi dla Inverse tłumaczy:

Modele nie były trenowane w wykorzystywaniu określonych strategii negocjacyjnych. To co zrobiliśmy, było wyposażeniem ich w umiejętność uczenia się z doświadczeń oraz planowania z wyprzedzeniem, co z kolei pozwoliło im na wynalezienie swoich własnych strategii, które mogą doprowadzić do osiągnięcia celu.

Uczenie maszynowe doprowadziło do powstawania nowego języka…

Chatboty nauczyły się negocjować i wykorzystywały do tego język angielski. Stały się w tym na tyle dobre, że ludzie nie potrafili nawet odróżnić czy właśnie prowadzą rozmowę z innym człowiekiem, czy też jest to agent AI. Poza tym, taki chatbot był zdolny do osiągania kompromisów, a nawet blefowania. Fascynujące, ale to nie wszystko.

Podczas treningu, który polegał na negocjacjach jednego agenta z drugim agentem i wykorzystywaniu przy tym uczenia przez wzmacnianie (reinforcement learning), doszło do czegoś niespodziewanego… chatboty zaczęły odbiegać od prawdziwego języka i stworzyły swój własny, niezrozumiały dla ludzi, nieistniejący język, który pozwalał im na lepsze prowadzenie negocjacji i osiąganie swoich celów. W związku z tym zespół z FAIR zrozumiał, że w takim treningu agenta z agentem nie mogą dawać im przesadnie dużej swobody i jeden z nich musi się opierać na fixed supervised model (uczenie nadzorowane), bo inaczej „chłopaki za bardzo odpływają” (czyt. wymyślają swój własny język).

Źródło 1, 2, 3, 4

  • „chatboty zaczęły odbiegać od prawdziwego języka i stworzyły swój własny, niezrozumiały dla ludzi, nieistniejący język”
    Przydałyby się jakieś cytaty z tego języka – bo na razie to zwykła kaczka dziennikarska, żadnych konkretów. Jest różnica w „odbieganiu” a „stworzeniu własnego niezrozumiałego języka”.

    • borysses

      Np. zaczynaly konwersacje od „I agree” lub „Deal”. Siec rozpoznala z danych wejsciowych ze po takich slowach nie padaja kontroferty wiec „wykoncypowala” sobie, ze jak od tego zacznie to automatycznie wygra negocjacje.

      Tytul oczywiscie mocno na wyrost:

      One interesting question is whether our models are
      capable of generating novel sentences in the new
      circumstances they find themselves in, or if they
      simply repeat messages from the training data ver-
      batim. We find that 76% of messages produced by
      the LIKELIHOOD model in self-play were found in
      the training data. We manually examined the novel
      utterances produced by our model, and found that
      the overwhelming majority were fluent English
      sentences in isolation—showing that the model
      has learnt a good language model for the domain
      (in addition to results that show it uses language
      effectively to achieve its goals). These results sug-
      gest that although neural models are prone to the
      safer option of repeating sentences from training
      data, they are capable of generalising when nec-
      essary. Future work should choose domains that
      force a higher degree of diversity in utterances.

      https://s3.amazonaws.com/end-to-end-negotiator/end-to-end-negotiator.pdf

    • wielkie dzięki

  • Bękart Mroku

    Ciekawy byłby opis jak stworzyły ten język, jak negocjowały pojęcia i gramatykę. Coś więcej o tym języku.

    • Mateusz Zborowski

      Bob: I can i i everything else

      Alice: balls have zero to me to me to me to me to me to me to me to me to

      To jest przykład z rozmowy. Informacja jest grubo przesadzona.
      Nie jest to nowy język tylko bełkot. Boty próbowały optymalizować rozmowę przez prymitywne używanie słów kluczy które poprzednio użyte, poprawiały rezultaty.

      podobnie jak dziecko zapytane kto chce czekoladę zacznie krzyczeć ja ja ja ja chcą upewnić się że dostanie, jednocześnie wyrazić entuzjazm, jak również wymusić maksymalną ilość czekolady.

    • Bękart Mroku

      Dziękuję, to bardzo ciekawa informacja. Szkoda, że nie znalazła się w artykule.

    • Dokładnie, też tak pomyślałem. Chodzi o zwykły spam słowny np. aby wyrazić jak duże jest zapotrzebowanie. Ważne, że pisze się o fb, które się bawi sztuczną inteligencją ;) reklama