AI może już pisać dla czasopism medycznych. Bo naukowcy i tak nie widzą różnicy...

Nie ma co się dziwić, że przeciętny Kowalski może łatwo nabrać się na tekst napisany przez sztuczną inteligencję. W zalewie codziennie czytanych treści rzadko skupiamy się na szczegółach i charakterystycznych schematach, po których można rozpoznać publikację autorstwa AI. Okazuje się jednak, że GPT jest wystarczająco skuteczne, by wykiwać nawet naukowców zajmujących się medycyną. A to już nieco przerażające.

GPT coraz ciężej zaskoczyć

Wiemy już, że w starciu z Chat GPT przegrywają nauczyciele, co skrzętnie wykorzystują uczniowie, pisząc prace przy pomocy generatora tekstu. Bot z każdym kolejnym pytaniem staje się coraz „mądrzejszy” i lepiej radzi sobie nawet z podchwytliwymi zagadnieniami.

Na fali popularności narzędzia postanowiono przetestować go w nieco bardziej hermetycznych warunkach, by sprawdzić, czy zawodowi naukowcy będą w stanie odróżnić abstrakty prac badawczy napisane przez człowieka, od tych wygenerowanych w kilka sekund przez bota. Cóż, wyniki eksperymentu są zaskakujące.

AI pokonało recenzentów publikacji medycznych

Badacze z Northwestern University stworzyli za pomocą GPT 50 abstraktów stylizowanych na profesjonalne publikacje z czasopism medycznych. Zaprosili do współpracy czterech recenzentów z zadaniem wyłonienia tekstów napisanych przez człowieka oraz odrzucenia tych, które opracował bot. Uczestników eksperymentu podzielono na dwie dwuosobowe grupy – każda otrzymała po 25 tekstów – i losowo przydzielono im abstrakty w taki sposób, aby naprzemiennie sprawdzali fałszywe i prawdziwe wersje.

Czytaj dalej poniżej

Student na przekór studentom. Opracował apkę, która wykrywa prace autorstwa AI Patryk Koncewicz

Microsoft nie zwleka, technologia OpenAI GPT trafi do aplikacji pakietu Office Kamil Pieczonka

Recenzentom udało się wykryć tylko 68% fałszywych tekstów wygenerowanych przez AI, natomiast skuteczność rozpoznawania prawdziwych abstraktów wyniosła 86%. Oznacza to, że 32% tekstów napisanych przez GPT uznali za dzieło człowieka, a 14% prawdziwych abstraktów za tekst stworzony przez sztuczną inteligencję. Warto zaznaczyć, że nie była to losowa zbieranina, a specjaliści swoich dziedzin, którzy zajmują się recenzowaniem publikacji w czasopismach naukowych.

Uczestnicy zeznali, że bardzo trudno było rozróżnić abstrakty, głównie z uwagi na specjalistyczne słownictwo, dokładne dane i precyzyjne liczby, których nie spodziewali się po sztucznej inteligencji. No właśnie, „spodziewali się” to istotne wyrażenie, bo naukowcy zostali wcześniej poinformowani o zasadach, przez co byli bardziej podejrzliwi. Prawdopodobnie gdyby nie ten fakt, to popełniliby jeszcze więcej błędnych werdyktów.

Badanie zrodziło wiele obaw zarówno pośród uczestników, jak i organizatorów. Skoro specjaliści w swoim fachu mają tak duże trudności z odróżnieniem tekstów AI od tych, które pochodzą od człowieka, to co ma powiedzieć zwykły zjadacz chleba, niezaznajomiony z branżową nomenklaturą. Naukowcy obawiają się, że brak regulacji w kwestii generatorów tekstu może przyczynić się do masowej dystrybucji fake newsów i sfabrykowanych dokumentów medycznych.

W zastosowaniu sztucznej inteligencji widzą jednak pewne plusy. Uważają, że AI mogłoby – poniekąd na przekór sobie – zajmować się weryfikowaniem publikacji naukowych napisanych przez boty lub po prostu wykrywać plagiaty, z którymi borykają się uczelnie. Pojawiają się też głosy opowiadające się za stanowiskiem, że AI mogłoby pisać streszczenia – nieposiadające faktycznej wartości naukowej – artykułów napisanych przez człowieka, co ułatwiłoby prace badaczom, ale ta opcja nie jest jeszcze w pełni akceptowana przez środowiska akademickie.

Stock image from Depositphotos