11

AI oceniało prace uczniów, więc odkryli jak oszukać system. Nie na tym ma polegać edukacja

Prace uczniów z pytaniami otwartymi oceniane przez sztuczną inteligencję? To nie jest dobry pomysł — ani zanim odkryją jak to działa, ani tym bardziej później.

Myślę że każdemu z nas zdarzyło się kiedyś dostać z testu inną ocenę, niż się tego spodziewał. Czasem nauczyciel był (zbyt) ostry, czasem była to kwestia zbyt wygórowanych oczekiwań, czasem najzwyczajniej robiliśmy błędy których nie byliśmy świadomi. Ale dla ludzi z naszych czasów problemy były dużo bardziej przejrzyste, niż ma to miejsce obecnie, kiedy coraz więcej zadań zlecanych jest automatom i sztucznej inteligencji. Historia opisana na łamach The Verge dla mnie brzmi naprawdę… przerażająco. Ale im dłużej się nad tym wątkiem zastanawiam, tym bardziej jestem przekonany, że nie chciałbym by moje prace oceniane były przez automaty i sztuczną inteligencję. A przynajmniej tak długo, jak nie są to typowe testy jednorazowego wyboru.

Nie da się sprawdzić testu w kilka sekund, jeżeli nie jesteś maszyną

Dana Simmons jest nauczycielką — i co nieco na temat sprawdzania prac uczniów wie. Kiedy więc jej syn zalał się łzami po otrzymaniu 50/100 z testu na platformie Edgenuity. Po chwili rozmowy czujność Dany wzbudziło to, że odpowiedź dostał kilka sekund po wysłaniu swoich odpowiedzi — była przekonana, że ocena wystawiona została na podstawie algorytmu i użytych w odpowiedziach słów kluczowych. Przez dalszą część kursu Edgenuity przyglądała się poprawnym odpowiedziom jakie system ujawniał po wysłaniu pracy. Postanowiła więc działać na tamtejszych słowach kluczowych — i przy dalszych pracach w odpowiedziach umieszczała krótkie odpowiedzi składające się w dużej mierze z list poszukiwanych przez system słówek. To wystarczyło — odpowiedni zestaw skojarzeń (przykładem który podała były: bogactwo, karawana, statek, Indie, Chiny, Bliski Wschód dla pytania o przewagę Kontantynopola w sile imperium bizantyjskiego), wplecenie tego w jedno-dwuzdaniowe odpowiedzi i gotowe. Perfekcyjna ocena coraz bliżej.

Ciekawe jak sprawdziłoby się długie lorem ipsum, w które autorzy wkleiliby słowa kluczowe. Pewnie równie dobrze.

Wszyscy chcą wygody, ale przy takiej pracy czynnik ludzki jest niezastąpiony

Uważam że nie każdy może być nauczycielem. Na swoich studiach specjalizację pedagogiczną omijałem szerokim łukiem bo wiem, że kompletnie się do tego nie nadaję, niektórzy bardzo mocno przeceniali swoje siły. Do tego niezbędna jest nie tylko wiedza, ale też zestaw predyspozycji. Prawdopodobnie wszyscy spotkaliśmy na swojej ścieżce nauczycieli którzy inspirowali do rozwoju i zagłębiania tematu, nawet jeżeli nie była to do końca nasza bajka. Z drugiej strony — byli także tacy, którzy potrafi zanudzić mówiąc o najciekawszych i najfajniejszych tematach. Tutaj co prawda chodzi wyłącznie o sprawdzanie i ocenę prac — ale myślę, że przy pisemnych sprawdzianach spojrzenie na szerszą perspektywę też ma sens. Nawet jeżeli nie będzie w niej słów kluczowych.