Naukowcy ostrzegają, ta technologia nabija cię w butelkę

Nie ma żadnych wątpliwości, że modele AI ułatwiły nam wiele aspektów życia, lecz też nie da się ukryć, że niektórzy za mocno na niej polegają. Do tego stopnia, że oczekują od chatbotów nawet informacji tak wrażliwych na detale jak prace naukowe. To właśnie im się dokładnie przyjrzano.

Naukowcy ostrzegają, ta technologia zwodzi i zdrowo przesadza

Badacze z uniwersytetów w Utrechcie i Cambridge wzięli na swoje barki nie lada wyzwanie. Sprawdzili na przestrzeni roku aż dziesięć najpopularniejszych modeli sztucznej inteligencji (nie mogło więc zabraknąć takich sztandarowych wyborów jak: ChatGPT, DeepSeek, Claude, and LLaMA), którym zlecono podsumowanie pięciu tysięcy prac naukowych z tak renomowanych czasopism jak między innymi Nature, Science, czy The Lance. Wynik nie pociesza.

Aż sześć modeli regularnie wyolbrzymiało w swoich streszczeniach wyniki prac. Co nie byłoby problemem w badaniu historii superbohaterów z komiksów, lecz w pracach naukowych liczą się nawet drobne detale. AI lubiło zmieniać czas przeszły na teraźniejszy, a do tego robić sprawę bardziej niezwykłą niż w rzeczywistości była, jak na przykład wmawiać przyjęcie tak ciepłe, że wszyscy zaczęli się stosować do odkryć. Chatboty też pięciokrotnie częściej się skłaniały ku uogólnianiu faktów, niż czynili to ludzie.

Czy wystarczyło doprecyzować, czego się od chatbota oczekuje? Otóż nie! Zaskakująco, im bardziej naukowy się starali wycisnąć fakty ze sztucznej inteligencji, tym bardziej ona zaczynała halucynować i wymyślać własną treść, poprzez docieranie do bardzo ogólnikowych konkluzji. Inną ciekawostką było, że to nowe modele miały więcej problemów.

Czytaj dalej poniżej

Czy rząd w końcu dobierze się gigantom do skóry? Raport nie pozostawia złudzeń Bartosz Gabiś

Czas to pieniądz. Aż 40% przedsiębiorców gotowych oddać firmę w ręce AI Patryk Koncewicz

Po badadniu, Uwe Peters i Benjamin Chin-Yee (badacze odpowiedzialni za testy), wskazują, że jeżeli komuś wciąż zależy na korzystaniu z pomocy AI – mimo że dobitnie udowodniono, jak bardzo może ona zwieść na manowce – warto używać Claude'a. To ten model miał największą skuteczność pod kątem właściwego podsumowywania prac naukowych.

Źródło: Uniwersytet w Utrechcie