Obszerne badania nad GPT autorstwa polskich naukowców. Wnioski zaskakują

Przez ostatnie 3 miesiące tematem GPT tłumnie zajęły się zespoły międzynarodowych badaczy, jednak jakoś niewiele było w tym polskich akcentów. Z lekkim spóźnieniem za bota od Open AI wzięli się naukowcy z PWr, badając umiejętności wykrywania błędów językowych, a także poczucie humoru i zdolność do sarkazmu. Do jakich wniosków doszli?

Chat GPT gorszy niż konkurencja

Zespół CLARIN-PL – zajmujący się zagadnieniami związanymi z rozwojem sztucznej inteligencji – poprosił GPT o wykonanie w sumie 38 tysięcy zadań. Chodziło głównie o sprawdzenie tego jak dobrze AI radzi sobie z odczytywaniem ludzkich emocji i porównanie GPT z konkurencyjnymi modelami do automatycznej analizy języka.

W ramach testów GPT pracował w 25 zakresach tematycznych, dokonując między innymi analizy 40 tysięcy tweetów, oceniając je pod kątem sarkazmu. Bot miał także styczność z treściami pochodzącymi z Reddita, otagowanych przez ekspertów jako posty przekazujące daną emocję.

"To było bardzo pracochłonne, bo nie byto wtedy jeszcze do tego żadnego API (interfejsu) do zadawania takiej liczby pytań. Dostępna była również jedynie bezpłatna wersja z limitem ok. 50 pytań na godzinę dla jednego użytkownika. 20 osób z zespołu użyczyło swoich kont w serwisie ChatGPT, dzięki czemu możliwe byto automatyczne zadawanie ok. 2 tys. pytań dziennie” – Dr Jan Kocoń

Czytaj dalej poniżej

Nowy projekt Microsoftu ma być mądrzejszy niż ChatGPT. Poznajcie Kosmos-1 Kacper Cembrowski

AI nie dość, że odczyta notatki lekarzy, to jeszcze oszacuje szanse na przeżycie pacjenta Patryk Koncewicz

Okazało się, że mimo powszechnych zachwytów GPT wcale nie jest taki niezwykły. Narzędzie osiągało wyniki średnio o 25% niższe, niż konkurencyjne modele przetwarzania języka naturalnego, takie jak SOTA, które nie tylko lepiej radzą sobie z gramatyką, ale też rzadziej mylą się w zadaniach matematycznych.

Badacze z PWr zaznaczają jednak, że GPT lepiej radził sobie z uargumentowaniem własnym odpowiedzi i ogólną kreatywnością wykonywania poleceń. Można więc skrócić, że z GPT rozmawia się lepiej i ciekawiej, ale bot odstaje nieco od konkurencji pod kątem odpowiedzi na wyspecjalizowane pytania – zwłaszcza te, które wymagają od niego szerokiej wiedzy o świecie.

Polscy naukowcy są też znacznie spokojniejsi o przyszłość „zagrożonych zawodów”, przed którymi tak histerycznie alarmowali ich koledzy zza oceanu. Zespół z Politechniki Wrocławskiej uważa, że chatbot może okazać się nieocenionym wsparciem dla sektora edukacji, korektorów, tłumaczy czy programistów. Dr Jan Kocoń uważa jednak, że szybki rozwój sztucznej inteligencji może uderzyć w popyt na pracowników call center. Uff… przynajmniej według polskich naukowców nie muszę póki co szukać nowej pracy.

Stock image from Depositphotos

Źródło