Nietuzinkowo. Tak można by było streścić sposób nauki przed egzaminem do Szkoły Głównej Handlowej w Warszawie, jaki wypracował sobie Michał Tajchert. Programista wpadł na pomysł, aby zbadać, jakie pytania pojawiały się na poprzednich egzaminach - jego źródłem wiedzy były własny kod oraz... Wikipedia. Czy w taki sposób można ocenić, jakie pytania pojawią się na przyszłym egzaminie?
Warto wspomnieć, że na temat Michała pisaliśmy przy okazji aplikacji Kanarek. Tymczasem, zaskoczył nas raz jeszcze prezentując swoje spostrzeżenia przy okazji nauki do egzaminu kwalifikacyjnego do SGH. Programista stworzył kod, który pobierał listę haseł z Wikipedii nt. ekonomii, a następnie wyciągał z bazy dane na temat wyświetleń danego hasła. Mając takie informacje, można było ocenić, jakie zagadnienia były popularne przed i po egzaminie. Znając daty egzaminów kwalifikacyjnych, można było w prosty sposób sprawdzić, czego uczyli się kandydaci i... co pojawiło się na egzaminie. Z tego, po "odszumowaniu" danych (olimpiady ekonomiczne, sprawdziany, itp.) można było wyciągać m. in. anomalie w postaci zagadnień, które były oblegane na krótko przed egzaminem na SGH, a pojawiły się we właściwym teście.
Pomysł na zbieranie danych i próbę dowiedzenia się co było popularne na egzaminach w zeszłych latach wpadłem sam podczas nauki. Rozwiązując ten sam przykładowy test po raz trzeci zacząłem się zastanawiać skąd jeszcze mogę otrzymać informacje o tym czego jest się efektywnie uczyć - a to przy tak szerokim zakresie materiału jest kluczowe. Także poszukiwania odpowiedzi na to pytanie traktowałem jako czas wolny między nauką jednej a drugiej teorii ekonomicznej. Końcowe wyniki zaskoczyły nawet mnie (pozytywnie) choć aby to potwierdzić trzeba by przyjrzeć się arkuszom które były na egzaminach w tych latach i porównać je z 'wytypowanymi' zagadnieniami przez algorytm. Niestety testy algorytmu na np. maturze nie dałyby takich rezultatów bo jest zbyt mały odstęp pomiędzy egzaminem a publikacją arkuszy a same osoby nie wyszukują haseł z egzaminu "bo i tak będą za chwilę dostępne z odpowiedziami".
Michał Tajchert wskazuje na to, że postanowił wypracować sobie taki model nauki głównie dlatego, że narzekał na małą ilość przykładowych testów na SGH, a to właśnie podczas ich rozwiązywania najlepiej przyswajał materiał. Dzięki temu, programista zbudował sobie pokaźną bazę zagadnień, z których następnie uczył się do właściwego egzaminu.
Skoro za pomocą takiego kodu można analizować trendy, wykrywać anomalie i typować pytania, które mogą się pojawić na egzaminie, równie dobrze można wykrywać wycieki arkuszy. Załóżmy, że na kilka dni przed egzaminem grupa osób otrzymuje dostęp do właściwego testu. Co się dzieje? Następuje nagłe zainteresowanie konkretnymi hasłami w takich miejscach jak Wikipedia. Dzięki analizowaniu popularności zagadnień, które pojawią się w arkuszu, można w prosty sposób ocenić, czy właściwy arkusz egzaminacyjny jest bezpieczny i jeżeli pojawią się jakiekolwiek przesłanki, że jest inaczej - pytania w tekście można zmienić.
Szczerze uważam że powyższa metoda o ile może być ciekawostką przy zgadywaniu tematów z egzaminu i raczej niewiele się w tej formie przyda przyszłym uczestnikom rekrutacji to analiza trendów na egzaminach - czy to rekrutacyjnych, maturalnych czy choćby sesji z danego przedmiotu - myślę że jest jak najbardziej wykonalna i może dać praktyczne rezultaty. Tutaj niestety dochodzimy do innego problemu - skoro układający arkusze również mogą analizować trendy (co najmniej tak samo dobry dostęp do danych) to mogą użyć w pewnym momencie tej broni przeciwko podchodzącym do egzaminów.
Ciekawym na pewno byłoby zobaczyć narzędzie które tworzy dynamicznie opracowanie do egzaminu na dany rok na podstawie trendów z poprzednich lat. Niestety finalnie sami uczymy się coraz mniej kreatywnie i praktycznie a coraz bardziej "pod klucz" egzaminowy - choć ten problem leży głębiej bo w samej formie testu.
Wykrywanie trendów w różnorakich egzaminach ma jednak ograniczone działanie. Z każdym rokiem wstecz obniża się skuteczność kodu z powodu niższej popularności technologii mobilnych. Dlatego też, zebrane dane sprzed 4, 5 lat mogą być mniej miarodajne, niż te pozyskane rok temu lub dwa. Natomiast, z powodzeniem można wykorzystać wykazane przez Michała zależności do wspomnianego wykrywania wycieków. Jak wskazuje sam programista, wykorzystanie do tego celu np. Brand24 celem określenia trendu byłoby świetnym pomysłem i z powodzeniem pozwoliłoby na sprawdzenie, czy zagadnienie, bądź ich grupa są anormalnie popularne tuż przed testem.
Właściwy tekst Michała opisujący działanie kodu oraz wnioski znajdziecie tutaj.
Hej, jesteśmy na Google News - Obserwuj to, co ważne w techu
