Dzięki usługom AWS GenAI staje się bardziej przystępna i przyjazna w użyciu

Z Jonathanem Weissem, dyrektorem niemieckich Amazon Development Centers rozmawiamy o wyzwaniach związanych z wdrażaniem generatywnej AI i analogiach względem modelu chmury obliczeniowej; konstrukcji oferty AWS w obszarze GenAI; wykorzystaniu istniejących modeli LLM i wirtualnych asystentów; a także realizowanych inicjatywach szkoleniowych i badawczo-rozwojowych.

Co łączy dzisiejsze projekty GenAI i chmurę obliczeniową?

Są, w pewnym sensie, rozszerzeniem podejścia do rozwoju środowiska IT w oparciu o model chmury obliczeniowej. W szczególności dotyczy to infrastruktury IT, ale też możliwości faktycznego wykorzystania danych. Implikuje to potrzeby w zakresie zarządzania danymi oraz zapewnienia ich wysokiej jakości.

Jakie są założenia strategii Amazon Web Services względem rozwiązań GenAI?

Zakłada ona, że GenAI stanie się bardzo ważnym komponentem środowisk IT wielu organizacji, ale do jego efektywnego wykorzystania niezbędne będzie zastosowanie modelu usługowego. Konkretnie zaś usług, które będą niezbędne, aby budować wartość biznesową w oparciu o rozwiązania GenAI.

Wychodzimy z założenia, że praktyczne wykorzystanie GenAI wymaga wykorzystania rozwiązań oferowanych w taki sam sposób, jak dotąd oferowaliśmy moc obliczeniową, pamięć masową i inne zasoby infrastrukturalne. Nie oznacza to oczywiście, że inne elementy naszego stosu technologicznego stracą na znaczeniu. Myślę, że będzie wręcz odwrotnie. Technologie chmurowe będą podstawą dla aplikacji korzystających z GenAI. Tych zaś będzie przybywać w ogromnym tempie.

Dlaczego?

Sądzę, że GenAI jest tym komponentem, którego brakowało, aby mówić o kompleksowej operacjonalizacji danych. Nie umniejsza to jednak znaczenia samych danych. Organizacja zainteresowana wdrożeniem kompleksowych rozwiązań wspierających podejmowanie decyzji w oparciu o dane musi niezmiennie zadbać o możliwość ich gromadzenia, składowania i przetwarzania.

GenAI jest technologią bardzo przydatną, ale potencjalnie bardzo złożoną w implementacji. Jako dostawca, staramy się oferować usługi, które uczynią rozwiązania GenAI bardziej przystępnymi i przyjaznymi w użyciu.

Nie chcemy też narzucać klientom konkretnych rozwiązań. Myślę, że jest tu właściwa analogia do środowisk bazodanowych. W ramach oferty AWS wspieramy szereg baz danych. Zdajemy sobie sprawę, że każde z takich rozwiązań lepiej od nich sprawdza się w niektórych zastosowaniach. Tak samo jest z dużymi modelami językowymi. Chcemy zatem mieć pewność, że nasi klienci będą mieli możliwość wyboru pomiędzy najlepszymi modelami LLM i wykorzystania ich w ramach platformy AWS w bardzo przystępny sposób.

Zależy nam na tym, aby maksymalnie uprościć kwestie techniczne związane z używaniem GenAI. Tak, aby nasi klienci mogli skupić się na wypracowaniu właściwego dla nich modelu wykorzystania tej technologii.

Jakie znaczenie ma takie podejście do chmury i GenAI?

Fundamentalne. Klienci nie chcą koncentrować się na wyzwaniach technologicznych związanych z instalacją, aktualizacją, zapewnieniem bezpieczeństwa i skalowalności modeli LLM. Zamiast tego potrzebują skoncentrować się na potrzebie biznesowej i obszarze, za który odpowiadają, na faktycznym poszukiwaniu wartości biznesowej związanej z wykorzystaniem technologii.

Dlatego w obszarze GenAI dzielimy naszą ofertę na trzy, główne warstwy. W warstwie podstawowej są zasoby niezbędne do trenowania modeli bazowych, uruchamiania systemów AI i przyspieszania produkcji AI – od procesorów, również tych dedykowanych do obsługi generatywnej AI, przez moc obliczeniową, aż po systemy uczenia maszynowego, jak SageMaker. Do drugiej zaliczamy rozwiązania pozwalające na wykorzystanie istniejących modeli LLM i zasilenie ich własnymi danymi na potrzeby budowania aplikacji do obsługi konkretnych scenariuszy biznesowych. Taką usługą jest Bedrock. Na koniec zaś mamy gotowe aplikacje pozwalające na szybkie wykorzystanie możliwości generatywnej AI w wybranych zastosowaniach – na przykład Amazon Q, czy Q Developer do wsparcia pracy programistów.

W każdej z tych warstw chcemy oferować klientom najlepsze rozwiązania, najwyższą jakość, swobodę wyboru i znane z całego stosu technologii AWS mechanizmy związane z wysoką dostępnością, bezpieczeństwem oraz obsługą. Przykładowo, na potrzeby tworzenia własnych modeli proponujemy środowisko SageMaker, a także infrastrukturę wykorzystującą najszybsze obecnie układy NVIDIA.

Zapewniamy też możliwość tworzenia rozległych klastrów obliczeniowych, także z wykorzystaniem zaprojektowanych przez AWS – z myślą o wysokiej wydajności i energooszczędności – układach AWS Inferentia i AWS Trainium – dedykowanych do procesów GenAI.

Większość firm zapewne nie ma zasobów do tworzenia własnych modeli LLM…

Faktycznie i zamiast tego zdecydują się na wykorzystanie istniejących rozwiązań – w pełni gotowych, jak Amazon Q, lub tych z warstwy środkowej, pozwalających budować własne rozwiązania. Tutaj swoje możliwości pokazuje usługa Amazon Bedrock, zapewniająca dostęp do wielu, najlepszych modeli LLM. Oferujemy je w formie w pełni zarządzalnej, przejrzystej i efektywnej usługi.

Jako dostawca zajmujemy się utrzymaniem, zarządzaniem i zabezpieczeniem tego rozwiązania. Udostępniamy też API pozwalające w łatwy sposób zintegrować mechanizmy AI utrzymywane w ramach Amazon Bedrock z istniejącymi u naszych klientów rozwiązaniami.

Co składa się dziś na najwyższą warstwę aplikacji GenAI w ofercie AWS?

Najwyższą warstwę naszej oferty stanowią rozwiązania pozwalające szybko i w bezpośredni sposób wykorzystać możliwości GenAI dla realizacji konkretnych zadań. Mam tu na myśli m.in. usługę Amazon Q, która pozwala na łatwe tworzenie wirtualnych asystentów realizujących konkretne zadania.

Za jej pośrednictwem można np. szybko uruchomić asystenta wspierającego zespół handlowy w analizie danych dotyczących sprzedaży. Jest to alternatywa dla przygotowania dedykowanego raportu, napisania zapytania SQL czy wykorzystania złożonych funkcji w systemie sprzedażowym. Wystarczy zadać pytanie, a wirtualny asystent przełoży je na odpowiednie zapytanie, sięgnie do właściwych danych i dostarczy precyzyjną odpowiedź.

Myślę, że pracownicy wielu firm i organizacji zaczynają dostrzegać, że takie rozwiązania są bardzo przydatne i w pełni osiągalne. Dzięki nim nie muszą dysponować wiedzą z obszaru IT, a nawet poświęcać czasu, aby przygotować właściwe zapytanie czy raport. Mogą po prostu zadać pytanie i szybko uzyskać odpowiedź. Na tym nie koniec.

Możliwości Amazon Q świetnie wpisują się też w potrzeby osób technicznych. Specyficznym przykładem wykorzystania tej platformy jest funkcjonalność Amazon Q Developer, która jest w stanie w kontekstowy sposób wspierać programistów w tworzeniu kodu. Jest to rozwiązanie bardzo proste do zintegrowania z wybranym środowiskiem deweloperskim. Zasilone zaś dodatkowym kontekstem – prywatnymi repozytoriami i innymi informacjami pokazującymi sposób pracy konkretnej osoby – staje się – dostosowanym do indywidualnych preferencji – narzędziem dla każdego nowoczesnego dewelopera.

Wspomniane obszary oferty AWS adresują dość różne potrzeby biznesowe…

Chodzi nam o to, aby za sprawą naszego stosu technologicznego klienci mogli szybko skorzystać ze standardowych rozwiązań GenAI, a jednocześnie mieli pełny dostęp do bardziej złożonych i unikalnych rozwiązań.

W ramach oferty AWS w ciągu kilku minut jesteśmy w stanie uzyskać podstawowe korzyści z GenAI. Ale można też iść głębiej, zainwestować dodatkowy czas, aby dostosować rozwiązania do specyficznych potrzeb i realiów. W ten sposób uzyskać niestandardowe rozwiązania zapewniające większą wartość biznesową.

Zdajemy sobie sprawę, że istnieją bardzo różne scenariusze i przypadki użycia rozwiązań GenAI. Nasi klienci zaś mają różne pomysły i potrzeby. Chcemy im zatem oferować możliwość wyboru najlepszych rozwiązań i dopasowania ich do unikalnych wymagań.

Co wyróżnia ofertę AWS w kontekście GenAI na tle innych, globalnych dostawców?

Przede wszystkim zróżnicowanie dostępnych od ręki funkcjonalności GenAI i rozwiązań wspierających ich wykorzystanie w zastosowaniach biznesowych. Przykładowo, zapewniamy szeroki wybór rozwiązań – instancji, zasobów sieciowych i obliczeniowych, włącznie z rozwiązaniami NVIDIA i naszymi autorskimi i dedykowanymi do GenAI procesorami – pozwalających na uruchamianie i szkolenie własnych modeli LLM. Mamy rozwiązania wspierające tworzenie, trenowanie i wdrażanie modeli LLM, takie jak Amazon SageMaker. Zapewniamy też najszerszą gamę najlepszych modeli LLM gotowych do zasilenia danymi i użycia. Wystarczy jedno kliknięcie, aby korzystać z różnych modeli.

Z kolei na poziomie aplikacji oferujemy unikalne możliwości integracji AI z naszą infrastrukturą. Innymi słowy, możemy zasilać GenAI danymi dotyczącymi funkcjonowania infrastruktury, co ma ogromne znaczenie, przykładowo, dla pracy deweloperów. Mogą oni skorzystać z wirtualnego asystenta Amazon Q Developer choćby pod kątem optymalizacji kodu dla infrastruktury AWS, analizy kosztów, a nawet rozwiązywania problemów technicznych. A więc, gdzie GenAI zwraca konkretne instrukcje pozwalające usunąć problem w oparciu o dane dotyczące konfiguracji, wykonywania kodu i specyfiki rozwiązania.

W odróżnieniu od powszechnie dostępnych narzędzi, jak ChatGPT – które mogą dostarczyć jedynie ogólnych informacji o błędach – funkcja Diagnose with Q zapewnia gotową, osadzoną kontekstowo, instrukcję postępowania, wskazówki co do zmian kodu aplikacyjnego czy konfiguracji środowiska.

Istotna jest też łatwość integracji uruchomionych w ramach AWS rozwiązań GenAI z innymi aplikacjami poprzez dedykowane interfejsy API. Ważne są także oferowane przez nas rozbudowane narzędzia zarządzania takim środowiskiem, wraz z rozbudowanymi funkcjami bezpieczeństwa i kontroli dostępu. Są to te same funkcje bezpieczeństwa, ten sam interfejs obsługi oraz API, co w przypadku innych usług AWS.

Jak zapewnić zgodność rozwiązań GenAI z regulacjami rynkowymi i wewnętrznymi politykami?

Taki cel można osiągnąć na dwa sposoby. Zapewne lepszym, ale bardziej złożonym i kosztownym, jest wytrenowanie od podstaw niestandardowego modelu LLM. Ostrożnie filtrując dane, którymi zasilamy model, jesteśmy w stanie wyznaczyć obszar jego działania. Odpowiedzi można zatem kontrolować na etapie zbiorów danych wykorzystywanych do trenowania i zasilania GenAI.

Inaczej sprawa ma się jednak w przypadku podstawowych modeli, które zostały wytrenowane np. na ogólnodostępnych danych. Zatem, jeśli nie posiadamy kontroli nad danymi, na których wytrenowany został model, musimy skupić się na filtrowaniu danych wyjściowych, a więc odpowiedzi, które model zwraca w odpowiedzi na zapytania.

W tym scenariuszu bardzo przydatna jest funkcjonalność Amazon Bedrock Guardrails. Zapewnia ona mechanizmy filtrowania danych wyjściowych modeli dostępnych w środowisku Amazon Bedrock. Filtrowania nie tylko pod kątem eliminowania zwrotów przemocowych, dyskryminujących, czy powszechnie nieakceptowanych, ale także w ramach zapewnienia formy odpowiedzi dostosowanej kontekstu danego modelu.

Przykładowo, język akceptowalny w ramach aplikacji GenAI skierowanej do młodych dorosłych angażujących się w gry wideo, zapewne akceptowalne zwroty i odpowiedzi będą zupełnie inne niż w przypadku aplikacji wspierających prawników w tworzeniu pism procesowych. Amazon Bedrock Guardrails kontroluje zatem nie tylko treść, ale także styl i język wykorzystywany przez GenAI. Jest to zatem pewnego rodzaju filtr wyników działania modeli LLM, który obejmuje nie tylko formę, ale także domenę odpowiedzi. Nie jest to więc tylko twarde filtrowanie terminów.

Co więcej, w połączeniu z możliwością precyzyjnego dostrajania modeli i mechanizmami RAG (Retrieval Augmented Generation – przyp. red.) dostępnymi w rozwiązaniu Amazon SageMaker, możemy łatwo wpływać na działanie modelu i wzmocnić jego nastawienie na pewne obszary oraz formy odpowiedzi.

Jakie rozwiązania w obszarze bezpieczeństwa danych wykorzystywanych przez modele GenAI zapewnia AWS?

Stosujemy szereg mechanizmów bezpieczeństwa charakterystycznych dla platformy Amazon Web Services. Jednym z nich jest pełne szyfrowanie – podczas transmisji oraz przechowywania. Co ważne, nasze zabezpieczenia są stosunkowo łatwe w obsłudze. Przykładowo, kontrolę dostępu do określonych narzędzi, modeli LLM czy danych można zdefiniować za pomocą usługi zarządzania tożsamością i dostępem. Nie ma też eskalacji uprawnień. Jeśli np. użytkownik nie ma dostępu do konkretnej bazy danych, to zapytanie poprzez Amazon Q nie zwróci mu danych, które są w tej bazie zapisane.

Cenne są też wbudowane w środowisko AWS mechanizmy audytu. Ich wykorzystanie oznacza, że każde zapytanie użytkownika skierowane poprzez platformę Amazon Bedrock lub asystentów opartych na środowisku Amazon Q jest rejestrowane. Można zatem sprawdzić kto, kiedy i w jakim zakresie korzystał z mechanizmów GenAI, aby uzyskać dostęp do konkretnych informacji. Możliwe jest także skorelowanie tych mechanizmów ze wspomnianą wcześniej funkcją Amazon Bedrock Guardrails.

Jaka jest Twoja rola w kontekście projektów GenAI i rozwoju oferty AWS?

Kieruję centrami rozwoju Amazon Web Services. Historycznie nasza specjalizacja koncentrowała się na rozwiązaniach związanych z uczeniem maszynowym, prognozowaniem czy rozpoznawaniem obrazu. Ostatnio w coraz większym stopniu angażujemy się w projekty związane z generatywną sztuczną inteligencją.

Chociaż nasze centrum jest zlokalizowane w Niemczech, to zatrudniamy pracowników z całego świata. Współpracujemy z uniwersytetami, bierzemy udział w projektach naukowych, a nawet sponsorujemy niektóre projekty. Na szeroką skalę prowadzimy też działania edukacyjne, także w obszarze AI.

Jakie projekty związane z rozwiązaniami AWS realizujecie?

Jestem bezpośrednio zaangażowany m.in. w rozwój środowiska Amazon Q Developer, które powstało właśnie w naszym centrum. Innym wartościowym rozwiązaniem, za które odpowiadamy jest Amazon PartyRock. Jest to projekt, którego początkiem była wewnętrzna inicjatywa pozwalająca porównywać możliwości modeli LLM dostępnych w środowisku Amazon Bedrock. Stał się on ogólnodostępnym rozwiązaniem wspierającym analizę i eksplorację działania takich modeli, a także możliwości ich integracji dla osób nietechnicznych.

Dzięki Amazon PartyRock wystarczy podać adres e-mail, aby eksperymentować z różnymi modelami oraz ich działaniem, a także tworzyć proste, testowe aplikacje GenAI. Aby skorzystać z Amazon PartyRock nie trzeba integrować się z innymi usługami AWS. Nie trzeba być nawet naszym klientem! Wystarczy wejść na stronę http://partyrock.aws/, podać swój email i już można tworzyć własne aplikacje GenAI i dzielić się nimi z innymi. Powstało tam już mnóstwo ciekawych aplikacji, m.in. narzędzie dostosowujące CV do opisu stanowiska pracy, na które aplikujemy, generator tzw. dad jokes, a także ChatRPG do generowania scenariuszy RPG.

Amazon PartyRock to świetny przykład narzędzia, które pozwala porównać działanie konkretnych modeli GenAI w różnych scenariuszach, ale także zweryfikować pewne koncepcje biznesowe związane z używaniem GenAI. Widzimy zresztą, jak wiele osób korzysta z tej platformy do tworzenia prostych, osobistych aplikacji zapewniających wsparcie w codziennej pracy i życiu prywatnym.

Z Waszych analiz wynika, że polskie firmy są mocno zainteresowane wykorzystaniem rozwiązań GenAI, ale główną przeszkodę w jej adopcji są problemy w pozyskaniu odpowiednich kompetencji…

Myślę, że jest tak nie tylko w Polsce, ale na całym świecie. Proszę pamiętać, że w powszechnym przekonaniu GenAI to ciągle bardzo młoda technologia. Widzę tu zresztą pewne analogie w stosunku do moich własnych doświadczeń związanych z modelem chmury obliczeniowej. Jestem jednak przekonany, że wiele osób już dziś dostrzega potencjał generatywnej sztucznej inteligencji, ale nie wie, w jaki sposób go wykorzystać. Jako AWS chcemy maksymalnie ułatwić tę drogę.

Przykład firmy Allianz pokazuje, że Wasza oferta chmurowa jest dobrym fundamentem dla praktycznego wykorzystania GenAI w ściśle regulowanym i wymagającym sektorze ubezpieczeń…

Allianz wykorzystuje w tym kontekście cały stos technologii AWS, aż do poziomu GenAI i w otwarty sposób o tym mówi, pokazując, że możliwe jest wykorzystanie publicznej chmury obliczeniowej i generatywnej sztucznej inteligencji w wysoce regulowanej branży, w odniesieniu do wrażliwych danych. Oczywiście takich przykładów jest więcej.

Proszę pamiętać, że jeszcze niedawno mówiło się, że instytucje bankowe, finansowe czy farmaceutyczne nie są w stanie wykorzystać potencjału chmury obliczeniowej m.in. przez wzgląd na wymagania dotyczące bezpieczeństwa danych. Dziś jest to całkowicie normalny scenariusz, a banki, takie jak amerykański Capital One w pełni przechodzą do chmury AWS. Podobna ścieżka rozwoju czeka rozwiązania GenAI. Wykorzystywanie opartych na chmurze rozwiązań GenAI będzie standardową, powszechną praktyką.