Podczas konferencji Snowflake Summit 2024, przedstawiciele firmy ogłosili szereg innowacji i ulepszeń związanych ze sztuczną inteligencją oraz uczeniem maszynowym – mowa o Snowflake Cortex AI oraz Snowflake ML. Ponadto poinformowano o nowej współpracy z firmą NVIDIA i zaprezentowano Polaris Catalog.
Innowacje ogłoszone podczas Snowflake Summit 2024:
- Cortex Analyst i Cortex Search – dwie nowe funkcje czatu umożliwiające użytkownikom tworzenie chatbotów w ciągu kilku minut w oparciu o ich ustrukturyzowane i nieustrukturyzowane dane, bez złożoności operacyjnej. Cortex Analyst, zbudowany na podstawie modeli Meta Llama 3 i Mistral Large, umożliwia bezpieczne tworzenie aplikacji w oparciu o poddane analizie dane w Snowflake. Ponadto Cortex Search wykorzystuje technologię wyszukiwania i klasyfikacji firmy Neeva wraz z Snowflake Arctic embed, dzięki czemu użytkownicy mogą tworzyć aplikacje w oparciu o dokumenty i inne zbiory danych tekstowych poprzez wyszukiwanie hybrydowe klasy – a więc połączenie zarówno wektora, jak i tekstu – jako usługę.
- Cortex Guard – odpowiada za bezpieczeństwo i użyteczność modeli. Wykorzystuje Llama Guard firmy Meta, oparte na LLM zabezpieczenie wejścia/wyjścia, które filtruje i oznacza szkodliwe treści w danych i zasobach organizacyjnych, takie jak przemoc i nienawiść, samookaleczenie lub działalność przestępcza.
- Document AI – dzięki tej funkcji użytkownicy mogą łatwo wyodrębniać treści, takie jak kwoty faktur lub warunki umów z dokumentów, korzystając z multimodalnego LLM-a Snowflake, Snowflake Arctic-TILT.
- Snowflake rozwija również swojego asystenta przetwarzania tekstu na kod SQL, Snowflake Copilot, który łączy mocne strony Mistral Large z zastrzeżonym modelem generowania SQL Snowflake, aby przyspieszyć produktywność każdego użytkownika SQL.
- Snowflake AI & ML Studio – interaktywny interfejs bez kodu dla zespołów, dzięki któremu mogą one wprowadzać takie modele jak Google, Meta, Mistral AI, Reka, a także Snowflake Arctic.
- Cortex Fine-Tuning – rozwiązanie dostępne za pośrednictwem AI & ML Studio lub prostej funkcji SQL, które pomaga organizacjom w dalszym zwiększaniu wydajności LLM-ów i dostarczaniu bardziej spersonalizowanych doświadczeń.
- Snowflake ML wprowadza pakiet możliwości MLOps, który obejmuje: Snowflake Model Registry pozwalający użytkownikom zarządzać dostępem i wykorzystaniem wszystkich typów modeli AI; Snowflake Feature Store, czyli zintegrowane rozwiązania dla analityków danych i inżynierów ML służące tworzeniu, przechowywaniu, zarządzaniu i obsłudze spójnych funkcji ML do szkolenia modeli i wnioskowania, a także ML Lineage, dzięki czemu zespoły mogą śledzić wykorzystanie funkcji, zestawów danych i modeli w całym cyklu życia ML.
Nowa współpraca z NVIDIA
Podczas Snowflake Summit 2024 firma ogłosiła też nową współpracę z NVIDIA, w ramach której Snowflake zaadaptował oprogramowanie NVIDIA AI Enterprise w celu zintegrowania mikrousług NeMo Retriever ze Snowflake Cortex AI, w pełni zarządzanym dużym modelem językowym (LLM) firmy Snowflake i usługą wyszukiwania wektorowego. Jak poinformowano, ma to umożliwić organizacjom płynne łączenie niestandardowych modeli z różnorodnymi danymi biznesowymi i dostarczanie bardzo dokładnych odpowiedzi.
Możliwości oprogramowania NVIDIA AI Enterprise, które będą oferowane w Cortex AI, obejmują:
- NVIDIA NeMo Retriever: zapewnia wyszukiwanie informacji z wysoką dokładnością i potężną wydajnością dla przedsiębiorstw budujących aplikacje AI oparte na technice RAG (Retrieval Augmented Generation) w ramach Cortex AI.
- NVIDIA Triton Inference Server: zapewnia możliwość wdrażania, uruchamiania i skalowania wnioskowania AI dla dowolnej aplikacji na dowolnej platformie.
Ponadto LLM Snowflake Arctic jest teraz w pełni obsługiwany przez oprogramowanie NVIDIA TensorRT-LLM, zapewniając użytkownikom wysoce zoptymalizowaną wydajność. Arctic jest obecnie również dostępny jako mikrousługa wnioskowania NVIDIA NIM, umożliwiając większej liczbie programistów dostęp do wydajnej sztucznej inteligencji Arctic.
Polaris Catalog
Kolejna nowość ogłoszona podczas Snowflake Summit 2024 to Polaris Catalog, neutralna względem dostawców, otwarta implementacja katalogu dla Apache Iceberg – otwartego standardu wybieranego do wdrażania hurtowni danych, jezior danych i innych nowoczesnych architektur. Jak poinformowano, Polaris Catalog stanie się otwartym źródłem w ciągu najbliższych 90 dni, aby zapewnić przedsiębiorstwom i całej społeczności Iceberg nowy poziom wyboru, elastyczności i kontroli nad ich danymi, z pełnym bezpieczeństwem korporacyjnym i interoperacyjnością Apache Iceberg z Amazon Web Services (AWS), Confluent, Dremio, Google Cloud, Microsoft Azure, Salesforce i innymi.
“Polaris Catalog rozszerza zaangażowanie Snowflake w Apache Iceberg jako otwarty standard z wyboru i sygnalizuje zamiar liderów branży, aby umożliwić klientom i szerszej społeczności Iceberg wykorzystanie ich danych poprzez otwarte i neutralne podejście, umożliwiając interoperacyjność między silnikami w ramach tych danych” – skomentował Christian Kleinerman, EVP of Product w Snowflake.
