Z Barisem Gultekinem, dyrektorem ds. AI w firmie Snowflake rozmawiamy o kluczowych wyzwaniach towarzyszących inicjatywom biznesowym zakładającym wykorzystanie generatywnej sztucznej inteligencji, znaczeniu mechanizmów wyszukiwania danych w takich projektach, a także o możliwościach platformy Snowflake w kontekście GenAI, strategii jej rozwoju oraz wspieranych modelach LLM.
Jakie są obecnie główne wyzwania towarzyszące próbom wdrażania generatywnej sztucznej inteligencji w realnych scenariuszach biznesowych? Wiele projektów nie wychodzi z fali pilotażu…
Faktem jest, że wiele organizacji przechodzi dziś z etapu testowania sztucznej inteligencji do faktycznego wykorzystania jej możliwości w realnych scenariuszach biznesowych. W szczególności mowa tu właśnie o generatywnej sztucznej inteligencji. Głównym wyzwaniem dla realnego wykorzystania GenAI pozostaje jednak jakość wniosków dostarczanych przez modele generatywnej sztucznej inteligencji, w tym m.in. liczne halucynacje.
Zapewnienie, że informacje zwracane użytkownikom będą właściwe, prawdziwe i trafne w znaczący sposób wpływa na złożoność projektów biznesowych zakładających wykorzystanie GenAI. To z kolei wprost przekłada się na rosnące koszty takich inicjatyw. W efekcie kolejnym wyzwaniem jest upewnienie się, że projekty biznesowe oparte na technologiach GenAI faktycznie będą opłacalne. Trzecim, nie mniej istotnym, ale bardzo złożonym aspektem, jest zapewnienie zgodności z regulacjami dotyczącymi m.in. prywatności i ładu korporacyjnego.
Wspomniane kwestie mają duże znaczenie także i dla nas. Skupiamy się bowiem na zapewnieniu łatwego dostępu do wydajnych i wiarygodnych rozwiązań GenAI. Jako Snowflake mamy taką możliwość, ponieważ nasze podejście zakłada przeniesienie obliczeń typowych dla generatywnej sztucznej inteligencji w ramach naszego ekosystemu w bezpośrednie sąsiedztwo miejsca, w którym faktycznie znajdują się dane zasilające duże modele językowe (LLM), na których opierają się dzisiejsze narzędzia GenAI. Ułatwiamy tworzenie, wdrażanie i wykorzystywanie systemów tego typu, eliminując m.in. wyzwania związane z przesyłaniem i zarządzaniem strumieniami danych zasilających sztuczną inteligencję. Podobnie, upraszczając środowiska GenAI, jesteśmy w stanie zwiększyć ich wydajność oraz jakość.
Co z potrzebami w zakresie bezpiecznego i odpowiedzialnego używania generatywnej sztucznej inteligencji?
Jak wspomniałem, nasze podejście zakłada, że dane nie opuszczają ekosystemu Snowflake, a modele LLM są uruchamiane bezpośrednio w naszej platformie. Dzięki temu jesteśmy w stanie zagwarantować pełną zarządzalność danych oraz modeli AI, a także zgodność z regulacjami. Dane nie opuszczają platformy Snowflake, więc nie ma również ryzyka związanego z bezpieczeństwem. Nigdy nie wykorzystujemy danych powierzonych nam przez klientów na potrzeby, przykładowo, szkolenia modeli AI dla innych organizacji.
Opracowaliśmy też rozwiązanie zapewniające zgodność aplikacji opartych na LLM z różnego rodzaju politykami i zasadami, przykładowo, w zakresie eliminowania mowy nienawiści. Rozwiązanie to – Snowflake Cortex Guard – jest w stanie zrozumieć, czy pytanie lub odpowiedź zawiera fragmenty niezgodne z obowiązującymi politykami – i jest w stanie je odfiltrować, zanim zostaną dostarczone użytkownikowi.
Jaką rolę w ramach ekosystemu Snowflake pełni Cortex AI?
Snowflake Cortex AI to w pełni zarządzana usługa, u podstaw której leży szereg dużych modeli językowych uruchomionych bezpośrednio w ramach Chmury Danych AI Snowflake – i dostępnych dla klientów za pośrednictwem funkcji SQL i interfejsów API pozwalających wykorzystać możliwości GenAI bezpośrednio z poziomu aplikacji, baz danych, bądź rozwiązań, takich jak czat. Liczna grupa naszych klientów korzysta z dostępnych w naszym środowisku modeli LLM poprzez zapytania SQL i na potrzeby analizy wsadowej danych tekstowych.
Dostarczamy także rozwiązania pozwalające w łatwy sposób generować asystentów działających na danych korporacyjnych, wykorzystujących generatywną sztuczną inteligencję. Mam tu na myśli rozwiązanie Cortex Analyst oraz Cortex Search. Pierwsze z nich stanowi unikalne narzędzie do konwersacyjnej analityki samoobsługowej o bardzo wysokiej skuteczności działania. Pozwala bowiem na zamianę zapytań w języku naturalnym na polecenia SQL z dokładnością przekraczającą 90%. Cortex Analyst pozwala zatem tworzyć chatboty, które rozmawiają z ustrukturyzowanymi danymi, takimi jak te dotyczące transakcji sprzedaży. Z kolei Cortex Search to narzędzie umożliwiające przeszukiwanie dokumentów, plików PDF, a więc danych nieustrukturyzowanych. Cortex Search zasadniczo umożliwia zarówno wyszukiwanie wektorowe, jak i leksykalne wyszukiwanie słów kluczowych, gwarantując wyniki o wysokiej dokładności.
Jakie modele LLM są dostępne w ramach platformy Snowflake?
Wspieramy szereg różnych modeli LLM, począwszy od rodziny naszych autorskich modeli Snowflake Arctic, po rozwiązania Mistral, Reka, Google i Meta. Rozwijany przez firmę Meta model Llama 3.1 jest o tyle istotny, że w najbardziej rozbudowanej wersji wspiera 405 mld parametrów. Duże znacznie ma także fakt, że wspieramy modele LLM dostępne na zasadach open source. Nasi klienci cenią sobie możliwość łatwego wykorzystania takich właśnie rozwiązań, ponieważ czują, że nie są ograniczeni przez zamknięte, zastrzeżone rozwiązania. Z drugiej strony, modele rozwijane wedle idei open source są dziś naprawdę wysokiej jakości.
Dlaczego zdecydowali się Państwo udostępnić własne rozwiązania z zakresu GenAI na zasadach open source?
Rzeczywiście, w ostatnim czasie mocno zaangażowaliśmy się w rozwój oprogramowania open source. Dobrym przykładem jest tu choćby Polaris Catalog – rozwiązanie zapewniające interoperacyjność danych na poziomie implementacji Apache Iceberg oraz rozwiązań i usług chmurowych, takich jak Amazon Web Services, Confluent, Google Cloud, Microsoft Azure oraz Salesforce – które udostępniliśmy niedawno na zasadach open source. Z kolei w obszarze AI oddaliśmy społeczności open source nasz model Arctic – i nie tylko sam model LLM, ale także dotyczące działania tego modelu dane wykorzystane do jego wytrenowania oraz analizy.
Do takiego postępowania zachęcają nas m.in. nasze własne doświadczenia – wielu naszych ekspertów w dziedzinie sztucznej inteligencji wywodzi się właśnie ze środowisk open source. Uważamy też, że koncepcja open source ma sens biznesowy. Klienci doceniają takie podejście. Udostępniliśmy serię autorskich optymalizacji dla modelu Llama 3.1. Skupiliśmy się na opracowaniu rozwiązań umożliwiających optymalne wykorzystanie tego modelu na dużą skalę, w oparciu o wiele węzłów GPU.
Jakie są główne założenia dotyczące rozwoju środowiska Snowflake w kontekście GenAI?
Nasze rozwiązania optymalizujemy m.in. pod kątem łatwości obsługi. Wprowadzamy zatem funkcje ułatwiające typowe operacje związane z wykorzystaniem modeli LLM. Przykładowo, jeden z naszych klientów pobierał dane z platformy Snowflake i przesyłał je do środowiska chmurowego AWS na potrzeby przetworzenia przy użyciu rozwiązania zbudowanego w oparciu o rozwiązanie Amazon Bedrock, a następnie przesyłał przetworzone już dane z powrotem do naszej platformy. Takie podejście okazało się powolne i kosztowne, a nam udało się zastąpić cały ten proces pojedynczą linią kodu.
Wspomniane modele LLM dostępne w środowisku Snowflake działają przy tym bezpośrednio na danych, które należą do organizacji korzystających z naszej platformy. Oznacza to zatem znaczące uproszczenie w kontekście potrzeby zarządzania złożonym ekosystemem danych, ponieważ stosowne mechanizmy są zaszyte bezpośrednio w platformy Snowflake. Skupiamy się też na poprawie jakości działania systemów opartych na GenAI, a tu istotne są m.in. mechanizmy wyszukiwania danych. Znajdują one zastosowanie w kontekście przekazywania kontekstu zapytań do GenAI, a co za tym idzie – są pomocne w redukowaniu tendencji do halucynacji. W bardziej ogólnym ujęciu optymalizujemy działanie całego naszego środowiska, tak aby zapewnić najwyższą wydajność przetwarzania danych.
Najlepszym przykładem jest model osadzania wykorzystywany w ramach implementacji GenAI do mapowania zapytania na zestaw wektorów, który jest używany do porównywania z zestawem danych. Nasz model zapewnia wyższą jakość w testach porównawczych niż model osadzania OpenAI i jest przy tym od niego szybszy, a więc i tańszy w użyciu bez strat na jakości. Wszystko to ma znaczenie w kontekście efektywności oraz kosztów budowania aplikacji wykorzystujących generatywną sztuczną inteligencję. Za sprawą naszych rozwiązań byliśmy w stanie wytrenować własny duży model językowy przy jednej ósmej kosztów w porównaniu do możliwości alternatywnych rozwiązań dostępnych na rynku.
Jaka jest Państwa wizja rozwoju generatywnej sztucznej inteligencji jako rozwiązania biznesowego?
Generatywna sztuczna inteligencja to technologia, która zdemokratyzuje dostęp do danych i wpłynie na kolejną falę cyfrowych zmian w wielu organizacjach. Poza tym GenAI pozwala na rozumienie i wydobywanie wartości z ogromnych zbiorów nieustrukturyzowanych danych, dużo szerszych niż wcześniej i w dużo łatwiejszy sposób. To również będzie miało duże znaczenie dla dalszego przebiegu transformacji cyfrowej. Już dziś obserwujemy rozwój rozwiązań agentowych opartych na współpracy różnych modeli LLM. Niedługo będziemy zatem zapewne tworzyć systemy, w ramach których GenAI nie tylko będzie wnioskować i odpowiadać na pytania, ale podejmować konkretne działania poprzez wywołanie różnego rodzaju narzędzi aplikacyjnych.
