Co badacze z Politechniki Wrocławskiej myślą o Chat GPT? Jest dobrze, ale to jeszcze nie przełom
Sztuczna inteligencja
Obszerne badania nad GPT autorstwa polskich naukowców. Wnioski zaskakują
Przez ostatnie 3 miesiące tematem GPT tłumnie zajęły się zespoły międzynarodowych badaczy, jednak jakoś niewiele było w tym polskich akcentów. Z lekkim spóźnieniem za bota od Open AI wzięli się naukowcy z PWr, badając umiejętności wykrywania błędów językowych, a także poczucie humoru i zdolność do sarkazmu. Do jakich wniosków doszli?
To cię zainteresuje Pamiętacie, jak AI w przeglądarce była czymś wyjątkowym? Stare, dobre czasy…AI nie dość, że odczyta notatki lekarzy, to jeszcze oszacuje szanse na przeżycie pacjenta
Chat GPT gorszy niż konkurencja
Zespół CLARIN-PL – zajmujący się zagadnieniami związanymi z rozwojem sztucznej inteligencji – poprosił GPT o wykonanie w sumie 38 tysięcy zadań. Chodziło głównie o sprawdzenie tego jak dobrze AI radzi sobie z odczytywaniem ludzkich emocji i porównanie GPT z konkurencyjnymi modelami do automatycznej analizy języka.
W ramach testów GPT pracował w 25 zakresach tematycznych, dokonując między innymi analizy 40 tysięcy tweetów, oceniając je pod kątem sarkazmu. Bot miał także styczność z treściami pochodzącymi z Reddita, otagowanych przez ekspertów jako posty przekazujące daną emocję.
"To było bardzo pracochłonne, bo nie byto wtedy jeszcze do tego żadnego API (interfejsu) do zadawania takiej liczby pytań. Dostępna była również jedynie bezpłatna wersja z limitem ok. 50 pytań na godzinę dla jednego użytkownika. 20 osób z zespołu użyczyło swoich kont w serwisie ChatGPT, dzięki czemu możliwe byto automatyczne zadawanie ok. 2 tys. pytań dziennie” – Dr Jan Kocoń
Okazało się, że mimo powszechnych zachwytów GPT wcale nie jest taki niezwykły. Narzędzie osiągało wyniki średnio o 25% niższe, niż konkurencyjne modele przetwarzania języka naturalnego, takie jak SOTA, które nie tylko lepiej radzą sobie z gramatyką, ale też rzadziej mylą się w zadaniach matematycznych.
Czytaj dalej poniżej
Badacze z PWr zaznaczają jednak, że GPT lepiej radził sobie z uargumentowaniem własnym odpowiedzi i ogólną kreatywnością wykonywania poleceń. Można więc skrócić, że z GPT rozmawia się lepiej i ciekawiej, ale bot odstaje nieco od konkurencji pod kątem odpowiedzi na wyspecjalizowane pytania – zwłaszcza te, które wymagają od niego szerokiej wiedzy o świecie.
Polscy naukowcy są też znacznie spokojniejsi o przyszłość „zagrożonych zawodów”, przed którymi tak histerycznie alarmowali ich koledzy zza oceanu. Zespół z Politechniki Wrocławskiej uważa, że chatbot może okazać się nieocenionym wsparciem dla sektora edukacji, korektorów, tłumaczy czy programistów. Dr Jan Kocoń uważa jednak, że szybki rozwój sztucznej inteligencji może uderzyć w popyt na pracowników call center. Uff… przynajmniej według polskich naukowców nie muszę póki co szukać nowej pracy.
Stock image from Depositphotos
Hej, jesteśmy na Google News - Obserwuj to, co ważne w techu
