Badacze Microsoft poinformowali, że wytrenowany przez nich generatywny model języka BioGPT – narzędzie AI, podobne do ChatGPT – wykazał „ludzki poziom” dokładności w analizowaniu badań biomedycznych, przewyższając inne podobne mu naukowe rozwiązania. Według specjalistów koncernu, narzędzie to jest więc gotowe, aby wspierać biologów i naukowców przy różnego rodzaju odkryciach naukowych związanych np. z badaniem nowych leków.
Narzędzie BioGPT wytrenowano na opublikowanych wcześniej artykułach dotyczących badań biomedycznych, a zebranych w PubMed – anglojęzycznej tekstowej meta bazie tego typu tekstów zaktualizowanych przed 2021 rokiem. W ten sposób uzyskano łącznie 15 milionów fragmentów treści z tytułami i abstraktami, które wykorzystano do szkolenia wspomnianego modelu językowego.
W celu przeprowadzenia wstępnego szkolenia, zespół badaczy Microsoft wykorzystał osiem jednostek GPU Nvidia V100 do wykonania 200 000 kroków. Z kolei dostrojenie rozwiązania wykonano przy użyciu pojedynczej jednostki GPU Nvidia V100 do wykonania 32 kroków. Następnie dopracowano wstępnie wytrenowany model oparty na GPT-2 z 357 milionami parametrów dla kolejnych zadań m.in. takich jak generowanie tekstu, odpowiadania na pytania czy klasyfikacja dokumentów.
Jak działa BioGPT?
BioGPT opiera się na technologii deep learning, w której stworzone sieci neuronowe – mające naśladować neurony w ludzkim mózgu – uczą się samodzielnie przetwarzać coraz bardziej złożone dane. Nowe narzędzie wykorzystujące technologię AI jest więc rodzajem “czarnej skrzynki”, co oznacza, że jego twórcy nie wiedzą, jak poszczególne elementy sieci neuronowych współpracują ze sobą, aby stworzyć dane wyjściowe – czytamy na łamach Clinical Trials Arena.
Aby ocenić dokładność generatywnych modeli AI, specjaliści Microsoft opracowali testy mierzące przetwarzanie języka naturalnego (NLP) – czyli zdolność rozumienia tekstu i języka mówionego. Według ich oceny, BioGPT przewyższa poprzednie modele tego typu – oparte głównie na modelach: BERT i GPT – w większości zadań.
Badanie obejmowało m.in. skalę PubMedQA, w której użytkownicy muszą odpowiadać na szereg pytań z zakresu biomedycyny, opartych na odpowiednich abstraktach zawartych w bazie PubMed. Według ekspertów Microsoftu, BioGPT osiągnął w tym teście poziom dorównujący, a nawet przebijający ludzki. BioGPT-Large – najbardziej rozbudowana wersja tego narzędzia AI – osiągnęła bowiem dokładność 81% w PubMedQA, w porównaniu z 78% dla pojedynczego użytkownika.
Z jakimi obawami wiąże się funkcjonowanie BioGPT?
Chociaż rozwiązanie BioGPT przeszkolono na specjalistycznej literaturze biomedycznej, to tak jak w wypadku podobnego do niego oprogramowania firmy Open AI – głośnego ChatGPT – istnieją duże obawy, czy tego typu model językowy nie będzie czasem tworzył niedokładnych tekstów bez żadnych odniesień, rozpowszechniając w ten sposób błędne informacje. Jak wskazują specjaliści od biomedycyny, BioGPT trenuje ponadto na istniejących badaniach medycznych, które mogą być stronnicze, co powoduje, że narzędzie to może utrwalać te opinie.
