JSA – narzędzie, które sprawdzi czy student korzystał z ChatGPT przy pisaniu pracy dyplomowej

W związku z szybko rosnącą popularnością narzędzia ChatGPT i wzrostem ryzyka wykorzystywania go przez studentów w trakcie pisania prac dyplomowych, eksperci z Ośrodka Przetwarzania Informacji (OPI) postanowili pomóc wszystkim promotorom w kraju – dodali nową funkcję do Jednolitego Systemu Antyplagiatowego (JSA). Już od lutego 2024 roku każda jednostka prowadząca studia wyższe lub szkołę doktorską może bezpłatnie zbadać, czy dana praca dyplomowa została napisana z użyciem sztucznej inteligencji. 

Wykorzystywanie narzędzi takich jak ChatGPT jest popularne wśród studentów, jednak nie istnieją jeszcze dane na temat skali tego zjawiska. Nauczyciele akademiccy zgłaszali natomiast zapotrzebowanie na narzędzie, które pozwoliłoby im sprawdzić, czy student korzystał z pomocy sztucznej inteligencji przy pisaniu pracy. W tym celu eksperci Ośrodka Przetwarzania Informacji rozbudowali Jednolity System Antyplagiatowy.

“Dzięki wprowadzeniu w 2019 roku JSA, zapewniliśmy większą niż w latach wcześniejszych porównywalność wyników weryfikacji oryginalności prac dyplomowych pomiędzy wszystkimi ośrodkami z całej Polski. Niedawno jednak pojawiło się nowe wyzwanie, jakim jest wzrastająca popularność narzędzi do automatycznego generowania treści. Dlatego niezwłocznie przystąpiliśmy do pracy, aby dodać do JSA funkcję, która pomoże promotorom w identyfikacji, czy dana praca dyplomowa została napisana przy pomocy narzędzi takich jak choćby popularny ChatGPT” – mówi dr  inż. Jarosław Protasiewicz, dyrektor Ośrodka Przetwarzania Informacji.

W jaki sposób JSA wykrywa zastosowanie sztucznej inteligencji?

Metoda detekcji wdrożona do systemu JSA opiera się na hipotezie, że im większa regularność w tekście, tym jest większe prawdopodobieństwo, że został on wytworzony przez model językowy. Założenie takie ma swoje źródło w zastosowanym algorytmie, który jest w stanie wygenerować tekst regularny i przewidywalny.

“Model zastosowany w JSA został przeszkolony na dużym zbiorze danych tekstowych. Jego działanie najprościej wytłumaczyć stosując miarę Perplexity. Zgodnie z naszymi założeniami, tekst wytworzony przez losowy dobór słów powinien charakteryzować się wysoką wartością Perplexity, natomiast tekst bardzo szablonowy i przewidywalny niską wartością Perplexity. W przypadku tego ostatniego właśnie istnieje zasadne podejrzenie, że powstał on przy użyciu sztucznej inteligencji” – tłumaczy Małgorzata Wartacz, kierowniczka projektu JSA w OPI, który odpowiada za rozwój systemu. “Stale rozwijamy nasz system i słuchamy głosów ze środowiska akademickiego. Poszerzamy liczbę baz referencyjnych i zapewniamy większe umiędzynarodowienie naszego narzędzia. Oczywiście JSA nie daje stuprocentowej pewności, że tekst jest plagiatem lub został napisany przez sztuczną inteligencję – określa wyłącznie prawdopodobieństwo. Dlatego zawsze ostateczna decyzja należy do promotora. To on weryfikuje raport otrzymany z JSA i stwierdza, czy dana praca dyplomowa jest oryginalna” – dodaje.

Warto podkreślić, że na razie na rynku nie istnieje żadne rozwiązanie, które lepiej pomogłoby udzielić odpowiedzi na pytanie – czy tekst został napisany przez sztuczną inteligencję? Nawet twórcy technologii ChatGPT nie mają takiego narzędzia, które byłoby w stanie dokładnie ocenić czy praca została napisana przez bota, czy przez człowieka.