Wzrost zainteresowania Generatywną AI wynika przede wszystkim z gwałtownego i szerokiego zastosowania dużych modeli językowych (ang. Large Language Models – LLM), takich jak GPT-4. Stały się one przedmiotem gorących dyskusji. Niektórzy postrzegają je jako kolejny etap ewolucji sztucznej inteligencji, podczas gdy inni koncentrują się na ich wadach i ograniczeniach. Już teraz rynek wycenia takie rozwiązania na 6 mld dol., z perspektywą wzrostu do 30 mld dol. w 2030 roku. Biznes szuka więc odpowiedzi, jak skutecznie wykorzystać LLM w swoich działaniach.
Duże modele językowe doskonale nadają się do polepszania jakości interakcji człowiek-system. Robią to za pomocą języka naturalnego, automatyzacji prostych procesów, przetwarzania informacji tekstowych i generowania kreatywnych treści. To sprawia, że firmy decydują się na inwestycje w takie rozwiązania.
Kluczowym aspektem wdrażania LLM jest odpowiednia ewaluacja potrzeb i możliwości. Ilu pracowników będzie korzystać z rozwiązań wykorzystujących LLM? Jakie mają być ich zadania? Czy LLM ma mieć dostęp do firmowych danych, czy będzie istniał zespół odpowiedzialny za zarządzanie i weryfikację generowanych odpowiedzi? Wykorzystanie dużych modeli językowych budzi szereg pytań i wątpliwości.
Dobór modelu do potrzeb firmy
Wszystko zaczyna się od wytypowania zadań, do których chcemy wykorzystać LLM i doboru odpowiedniego modelu, który może im sprostać. Proste czynności, takie jak generowanie krótkich tekstów, mogą być rozwiązywane za pomocą stosunkowo małych modeli, które można uruchomić nawet na podstawowych urządzeniach takich jak laptop. Bardziej złożone modele wymagają znacznej mocy obliczeniowej do szkolenia się, ale także do samego procesu generowania wyników.
Obecnie najłatwiejszym sposobem dla firm na korzystanie z najbardziej zaawansowanych modeli LLM jest użycie tych wstępnie wytrenowanych i wdrożonych w chmurze. Przykładem może być model Gemini dostarczany przez Google. Co więcej, można wykorzystać rozwiązania, które integrują LLM z systemami firmy, a także koordynują i monitorują ich pracę. Jednymi z najpopularniejszych przykładów takich bibliotek są LangChain i LangSmith.
“Połączenie modelu LLM z danymi firmy daje mu możliwość wyszukiwania i wnioskowania na temat danych specyficznych dla przedsiębiorstwa. Teoretycznie oznacza to, że taki model LLM staje się maszyną do rozwiązywania problemów biznesowych, których rozwiązanie znajduje się już w danych. Dodatkowo, praca modelu LLM na firmowych danych znacznie ogranicza halucynacje, choć nie eliminuje ich całkowicie. Na szczęście narzędzia do łączenia LLM z zewnętrznymi bazami danych posiadają mechanizm śledzenia pochodzenia informacji wykorzystywanych przez LLM do generowania wyników” – wyjaśnia Bogusław Kosęda, Data Science Consultant w Endava Poland.
Chociaż każdy może wchodzić w interakcje z modelami LLM za pomocą promptów, poważne aplikacje biznesowe wymagają odpowiednich umiejętności inżynierskich. W tym przypadku będą to umiejętności:
- inżynierii uczenia maszynowego – w zakresie badań i rozwoju,
- QA (ang. Quality Assurance) – w zakresie testowania,
- LLMOps (ang. Large Language Model Operations) – w zakresie wdrażania, monitorowania i konserwacji.
Ograniczenia i problemy dużych modeli językowych
Duże modele językowe obarczone są też szeregiem ograniczeń. Dlatego tak ważny jest odpowiedni nadzór i ewaluacja uzyskanych w pracy z nimi wyników. Oto najważniejsze ograniczenia LLM:
- Halucynacje – modele mogą generować wyniki, które są błędne, bezsensowne lub nieistotne dla danej wejściowej informacji. Wynika to często z niepokrywających się danych wykorzystanych w procesie uczenia. LLM może udzielać np. porad prawnych z innego systemu prawnego niż z tego od którego pada zapytanie. Problem ten nadal pozostaje nierozwiązany i jest jednym z głównych ograniczeń tej technologii.
- Trudność testowania LLM – ze względu na “kreatywność” LLM, przetestowanie wszystkich możliwych danych wejściowych i wyjściowych, które mogą pojawić się w produkcji jest niemożliwe. Dlatego tak ważny jest monitoring metryk i nadzór nad systemami opartymi na LLM.
- Etyka – modele LLM mogą generować wyniki obarczone uprzedzeniami. Uprzedzenia te pochodzą z zestawów danych, które zostały przekazane modelowi podczas etapów wstępnego uczenia lub dostrajania.
- Koszt – w przypadku największych LLM płacimy za transfer danych do i z modelu. W niektórych przypadkach biznesowych koszty te mogą być znaczne.
- Utrzymanie – jeśli dostawca LLM zaktualizuje konkretny model, który był wykorzystywany w danym rozwiązaniu, należy ponownie przeprowadzić proces kontroli jakości i monitorowania – co również może być kosztowne.
