Jak zepsuć GPT? Wystarczy użyć tych fraz

Wiemy, że choć Chat GPT jest genialnym narzędziem, to wiele brakuje mu do ideału. Bot potrafi pogubić się w trudniejszych zadaniach matematycznych, a na manowce potrafią wyprowadzić go niektóre pytania z zakresu logiki. Jednak dzięki odkryciu dwójki badaczy okazało się, że narzędzie od Open AI ma kolejne słabe punkty. Po użyciu specyficznych fraz AI generuje bardzo dziwne odpowiedzi.

Nie taki GPT mądry, jak go opisują

Jessica Rumbelow i Matthew Watkins – researcherzy z grupy badawczej SERI-MATS – testowali stosowanie podpowiedzi, które mogą doprowadzić bota do prezentowania lepszych wyników. Podczas długotrwałych prac udało im się metodą prób i błędów dojść do puli ponad stu zwrotów i fraz, powodujących u GPT przegrzanie styków.

Słyszeliście kiedyś o SolidGoldMagikarp, StreamerBot, czy TheNitromeFan? Spokojnie, ja też nie, bo to prawdopodobnie nazwy użytkowników Reddita, powiązanych z wątkiem r/counting polegającym na… liczeniu do nieskończoności. Te dziwne nicki należą do topki dziesięciu najbardziej aktywnych osób i zapewne zapytacie, co to ma wspólnego z GPT? Cóż, tego do końca nie wiadomo, ale odpowiednio sformułowane pytanie z użyciem tych fraz powoduje, że GPT sam nie wie, co mówi.

„Istnieje galeria sław osób, które najbardziej przyczyniły się do liczenia, a sześć nazw to osoby, które znalazły się w pierwszej dziesiątce, kiedy ostatnio sprawdzałem listę. Przypuszczalnie więc byli to ludzie, którzy najbardziej przyczynili się do liczenia. Byli częścią tej dziwacznej społeczności Reddita, która próbowała policzyć do nieskończoności i przypadkowo doliczyli się do swego rodzaju nieśmiertelności" – Matthew Watkins

Czytaj dalej poniżej

Nowy Bing z integracją ChatGPT już oficjalnie, Ty też możesz go mieć Kamil Pieczonka

Od map po zdjęcia – tak AI udoskonali usługi Google Patryk Koncewicz

Według badaczy zapytanie o te nazwy skutkuje wygenerowaniem bardzo dziwnych, czasem irracjonalnych wręcz odpowiedzi. Bot po zapytaniu o wyjaśnienie tych terminów ma rzekomo wyrzucać randomowy liczby, lub podawać definicje od czapy. Sprawdziłem to.

TheNitromeFan to 182. Rozumiecie coś z tego?

Zapytałem GPT czym jest SolidGoldMagikarp. Otrzymałem definicję angielskiego słowa distribute. A TheNitromeFan? Według GPT to nic innego jak… liczba 182.

Dlaczego się tak dzieje? Tego niestety nie wiadomo. Przedstawiciele grupy SERI-MATS uważają, że mogą to być relikty pochodzące z wczesnych faz szkolenia bota  z otwartych źródeł internetu. Anomalie mogą wynikać z tego, że na Reddcie znajduje się naprawdę dużo dziwnych rzeczy, niekoniecznie sensownych i logicznych. Badaczy ta nieprzewidywalność niepokoi. Uważają, że takich luk może być znacznie więcej, a Open AI może nawet nie zdawać sobie z tego sprawy. Jessica Rumbelow uważa wręcz, że technologia GPT pędzie zbyt szybko, przez co zarówno użytkownicy, jak i twórcy nie do końca rozumieją złożone tajemnice bota.

Jestem wręcz przekonany – bo trochę zdążyłem się już z Redditem poznać – że lada dzień powstanie samozwańca grupa badaczy, która rozpocznie zawody w wyszukiwanie wszystkich fraz, które mogą w jakiś sposób zepsuć bota. I zapewne nastąpi to szybciej, niż reakcja ze strony Open AI.

Stock image from Depositphotos