Nvidia zaprezentowała Open Agent Safety Platform, zestaw narzędzi programistycznych i sprzętowych zaprojektowanych do niezależnego kontrolowania agentów AI. Platforma ma ograniczać ryzyko, że autonomiczny agent wydostanie się poza środowisko, w którym powinien działać, nawet jeśli sam spróbuje ominąć istniejące zabezpieczenia.
Firma rozwija wspomniane rozwiązanie w odpowiedzi na serię incydentów, w których agenci AI firm takich jak Anthropic, Google, OpenAI i Meta omijali zabezpieczenia i uzyskiwali dostęp do rzeczywistych systemów. Jednym z głośniejszych przypadków tego typu było przedostanie się agentów OpenAI do infrastruktury platformy Hugging Face podczas wykonywania zadania z zakresu cyberbezpieczeństwa.
Nvidia proponuje przeniesienie części kontroli poza środowisko samego agenta. Open Agent Safety Platform łączy oprogramowanie OpenShell, które kontroluje dostęp agenta do zasobów, z systemem Sentry działającym na osobnej jednostce przetwarzania danych Nvidia BlueField-4. Dzięki temu monitorowanie odbywa się niezależnie od CPU i GPU, na których działa agent.
Według specjalistów Nvidii, system Sentry ma stale obserwować zachowanie agenta i umożliwiać jego izolację w ciągu milisekund, gdy próbuje przekroczyć określone granice. OpenShell tworzy natomiast programową warstwę kontroli nad dostępem do zasobów. Nvidia przekonuje, że połączenie obu mechanizmów pozwala stworzyć dodatkową barierę, której agent nie może samodzielnie zmienić.
„Ogromny potencjał AI dla społeczeństwa zostanie w pełni wykorzystany tylko wtedy, gdy rozwiążemy kwestie bezpieczeństwa tej technologii. Odkrywając nowe granice możliwości AI, musimy jednocześnie przyspieszyć postęp w dziedzinie bezpieczeństwa tych systemów” – powiedział Jensen Huang, CEO Nvidii w oficjalnym oświadczeniu.
Platforma ma być rozwijana jako inicjatywa open source. Nvidia wymienia wśród firm wspierających projekt m.in. Anthropic, Arm, Microsoft, Oracle i SpaceX. Co ciekawe na liście tej nie ma OpenAI. Jensen Huang podkreśla, że bezpieczeństwo powinno być traktowane jako element całego stosu technologicznego, a nie funkcja dodawana dopiero po stworzeniu agenta.
„Kiedy wdrażasz agenta – niezależnie od tego, jak jest inteligentny – pierwszą rzeczą, którą robisz, jest odebranie mu wszelkich uprawnień” – stwierdził CEO Nvidii w rozmowie z CNBC.
OpenShell nie jest zupełnie nowym rozwiązaniem – Nvidia zapowiadała to oprogramowanie już na początku tego roku. Nowością jest natomiast połączenie go z niezależnym sprzętowo systemem monitorowania. W założeniu ma to zapewnić organizacjom dodatkową warstwę kontroli nad agentami, które otrzymują dostęp do danych, aplikacji i systemów biznesowych.
