Część z Was słyszała być może o generatorze tekstów, napędzanym algorytmami sztucznej inteligencji GPT-3, który już jakiś czas temu wzbudził sensację wysokim poziomem pisanych przez niego artykułów. Jego umiejętności zrobiły, w przypadku prostszych form, na tyle duże wrażenie, że postanowiono sprawdzić, jak wypadnie przy jednej z trudniejszych form literackich, jaką jest esej.
Badania podjął się amerykański serwis edukacyjny EduRef, który postanowił porównać umiejętności generatora i świeżych absolwentów uniwersytetów. Zatrudniono w tym celu grupę wykładowców, którzy przygotowali wytyczne i podpowiedzi do pisania esejów z zakresu historii Stanów Zjednoczonych, metod badawczych, kreatywnego pisania i prawa.
Nie, GPT nie pokonał jeszcze ludzi, ale w wielu miejscach była z nimi praktycznie na równi. Deklasował za to swoich białkowych przeciwników, jeśli chodzi o tempo pracy. Podczas gdy ludziom napisanie pracy konkursowej zajmowało średnio 3 dni, GPT-3 robił to w czasie od 3 do 20 minut...
Najlepiej poszły mu eseje z zakresu historii i prawa, gdzie uzyskał ocenę B- (amerykańskie skala to oceny od A do F, gdzie A jest najwyższa). Grupa kontrolna absolwentów uzyskała oceny pomiędzy B a C+, przy czym z zakresu prawa SI zajęło 2-gie miejsce. W przypadku pracy o metodach badawczych nad szczepionką Covid-19 uzyskał C, podczas gdy studenci B i D.
Generator poległ natomiast zupełnie w przypadku zadania kreatywnego, gdzie otrzymał niedostateczne F, podczas gdy grupa kontrolna otrzymała oceny od A do D+. I to pomimo tego, że organizatorzy musieli mu pomóc, dodając więcej wzorców i umożliwiając więcej prób. W sumie to że GPT-3 nie jest wybitnym humanistą, nie powinno aż tak zaskakiwać.
Badanie było oczywiście anonimowe, wykładowcy oceniający prace nie wiedzieli, że oceniają prace generatora tekstów. Według ich ocen GPT-3 świetnie radzi sobie z gramatyką, składnią i w ogóle trzymaniem się ogólnych zasad pisania, a problemy ma wtedy, gdy trzeba wykreować silną narrację i wzbudzić emocje.
Twórcy testu uważają, że wynika to stąd, że zadania kreatywne polegają na sięganiu do naszych doświadczeń i wspomnień wzmocnionych przez uczucia, a GPT-3 jak narazie nie potrafi tego ostatniego czynnika zasymulować. Stąd świetnie wypada raczej w zadaniach których clue stanowią konkretne dane, jak w przypadku historii i prawa.
Tak czy inaczej, algorytmy w coraz większej ilości dziedzin mogą zacząć działać jak trucizna i równie ważne jak rozwój jej technik, będzie umiejętność tworzenia antidotum, kontr-algorytmów ujawniających ich działanie. To, że Amerykanie mogą już całkiem niedługo mieć problem z nieuczciwymi studentami, którym prace zaczną pisać generatory tego typu wydaje się bardzo prawdopodobne.
Ciekawe, czy jeśli powstałby taki anty-GPT potrafiłby wykryć oszustwo, w przypadku gdy studenci zdecydują się na „doszlifowanie” tak wygenerowanych prac? Wszystko przed nami. W tej kwestii Polska choć raz będzie górą, nasz język jest dla komputerów takim koszmarem, że podobnie skutecznego generatora w wersji PL raczej szybko nie zobaczymy.
Źródło: [1]
Hej, jesteśmy na Google News - Obserwuj to, co ważne w techu
![[Aktualizacja] 7 minut marsjańskiego terroru - dziś, kiedy i gdzie oglądać?](https://static.antyweb.pl/img/w_294,h_166/wp-content/uploads/2021/02/09195416/ant_powered-descent.jpg)
