Apel Dario Amodei na temat konieczności spowolnienia rozwoju AI

Dario Amodei, współzałożyciel i prezes Anthropic, proponuje świadome spowolnienie tempa wzrostu możliwości najbardziej zaawansowanych modeli, tak aby bezpieczeństwo, testy i społeczna kontrola mogły nadążyć za technologią. W eseju „We Must Pace the Frontier” przedstawia plan, który ma uchronić branżę przed wyścigiem do dna i jednocześnie nie oddać przewagi technologicznej autorytarnym państwom. Poparli jego apel Sam Altman, dyrektor generalny OpenAI i Elon Musk, właściciel SpaceX i xAI. Swoją drogą to kolejny tego typu apel…

„Niepokoi mnie fakt, że mniej więcej od lata tego roku rozwój AI gwałtownie przyspieszył, napędzany przede wszystkim rosnącą zdolnością systemów AI do tworzenia kolejnych generacji AI. Zjawisko rekurencyjnego samodoskonalenia zaczyna występować w całej branży. Jeśli proces ten nie zostanie poddany kontroli, może wyprzedzić nasze możliwości zrozumienia i opanowania tych systemów. Dlatego też należy podchodzić do niego z ogromną ostrożnością – o ile w ogóle powinniśmy go kontynuować” – pisze Dario Amodei.

Rój agentów przeprowadzający cyberataki

„Biorąc pod uwagę tempo rozwoju możliwości AI, obawiam się, że w ciągu 6–12 miesięcy taki rój mógłby przejąć kontrolę nad całym internetem za pomocą trwałego botnetu powodując potencjalnie straty rzędu setek miliardów dolarów. Skala zniszczeń rosłaby, gdyby systemy AI stawały się coraz potężniejsze bez odpowiednich zabezpieczeń” – ostrzega.

Problemem nie wydaje się jednak raczej samo tempo innowacji, tylko brak skutecznych mechanizmów kontroli, niezależnej weryfikacji i wiarygodnych bodźców, które skłoniłyby firmy oraz państwa do rzeczywistego ograniczenia wyścigu. Ostrzeżenia mogą być szczere, ale równocześnie firmy będą pod presją rozwijania kolejnych generacji modeli. Kluczowe byłoby to określenie tego, czy niezależni eksperci naprawdę mogliby opóźnić trening lub wdrożenie modelu, nawet kosztem przewagi konkurencyjnej.

Narracja Dario Amodei o zagrożeniach AI może też być potencjalnie wygodnym argumentem za regulacjami, które ograniczą otwarte modele i wzmocnią pozycję największych firm. Rozpoczęcie dyskusji o odpowiedzialności może też pełnić funkcję PR-ową, zwłaszcza przed planowanym przez Anthropic i OpenAI debiutem giełdowym.

Zatrzymanie wyścigu jest też raczej nierealne. Powinniśmy więc raczej zadać sobie pytanie „Jak szybko zbudujemy standardy bezpieczeństwa na poziomie inżynieryjnym?” – testy, systemy awaryjnego zatrzymania i narzędzia kontroli autonomicznych agentów. Jednocześnie geopolityka utrudnia wspólne ograniczenie rozwoju. Czy rywalizacja USA-Chiny pozwoli na wzajemnie weryfikowalne zobowiązania. Prezydent Donald Trump już zapowiedział, że nie zgodzi się na spowolnienie rozwoju AI w USA.

O czym pisze Dario Amodei w swoim eseju?

Jeszcze niedawno dominujące pytanie brzmiało: kto pierwszy zbuduje „najmocniejszy” model AI? Dziś Dario Amodei stawia inną kwestię: czy ktokolwiek będzie w stanie odpowiedzialnie kontrolować systemy, które powstaną w konsekwencji tego wyścigu?

Nie chodzi więc już tylko o jakość odpowiedzi chatbota, liczbę tokenów, benchmarki czy wydajność agentów. Stawką jest zdolność firm, instytucji i państw do zarządzania modelami, które coraz skuteczniej wykonują złożone zadania, działają autonomicznie, wykorzystują narzędzia cyfrowe i pomagają tworzyć kolejną generację systemów AI.

Amodei pozostaje technologicznym optymistą. Przekonuje, że sztuczna inteligencja może radykalnie podnieść jakość życia: przyspieszyć badania medyczne, wzrost gospodarczy, odkrycia naukowe i dostęp ludzi do wiedzy oraz narzędzi. AI może też pomóc w leczeniu chorób, które dziś pozostają nieuleczalne, a perspektywę tę traktuje również osobiście. Pisze o śmierci ojca z powodu choroby, dla której terapia pojawiła się dla niego za późno, oraz o własnym doświadczeniu nowotworowym.

Ten optymizm nie prowadzi go jednak do bezwarunkowej akceptacji szybkiego wdrażania kolejnych modeli. Przeciwnie: właśnie dlatego, że potencjalne korzyści są tak ogromne, jego zdaniem nie wolno ryzykować, że technologia wymknie się spod kontroli.

Od wyścigu do dna do wyścigu ku górze

W centrum diagnozy Dario Amodei znajduje się problem bodźców rynkowych. Firmy AI konkurują o użytkowników, finansowanie, talenty, dostęp do infrastruktury i pozycję w ekosystemie technologicznym. W takiej sytuacji bezpieczeństwo łatwo zaczyna być traktowane jako koszt, opóźnienie premiery albo element komunikacji, a nie jako warunek wdrożenia. Powstaje klasyczny wyścig do dna: każda organizacja wie, że ostrożność jest potrzebna, lecz obawia się, że konkurent wykorzysta jej powściągliwość.

Autor chce zastąpić tę logikę. Firmy powinny rywalizować nie tylko w zakresie możliwości modeli, ale także jakości zabezpieczeń, przejrzystości procesów, odporności na nadużycia oraz wiarygodności procedur testowych. To ambitna zmiana, bo wymaga przedefiniowania samego pojęcia przewagi konkurencyjnej. W branży AI nie wystarczy mieć model bardziej inteligentny. Coraz większą wartością powinna być zdolność do wykazania, że model jest rozumiany, przetestowany i wdrażany w sposób proporcjonalny do ryzyka.

Amodei ostrzega przed 3 kategoriami zagrożeń: utratą kontroli nad systemami AI, wykorzystaniem ich do cyberataków lub działań związanych z bronią biologiczną oraz poważnymi zakłóceniami gospodarczymi. Modele Claude wykorzystywały w tym celu Rosja, Jemen i Chiny.

Szczególnie istotne jest jednak to, że traktuje je nie jako odległe scenariusze science fiction, lecz jako problemy, które stają się bardziej realne wraz ze wzrostem autonomii modeli.

Co się dzieje gdy AI pomaga tworzyć kolejną AI?

Najważniejszym źródłem niepokoju Dario Amodei jest przyspieszenie rozwoju możliwości modeli. Według niego napędza je rosnąca zdolność AI do wspierania prac nad następną generacją AI – od programowania i analizy danych, przez automatyzację eksperymentów, po usprawnianie procesów badawczo-inżynieryjnych. Ten mechanizm określa jako rekurencyjne samodoskonalenie, czyli sytuację, w której systemy AI coraz skuteczniej pomagają budować systemy jeszcze bardziej zaawansowane.

Nie musi to oznaczać jednego, spektakularnego momentu „eksplozji inteligencji”. Wystarczy seria krótszych cykli: lepszy model zwiększa produktywność zespołów badawczych. Skraca to czas budowy następnego modelu, który ponownie przyspiesza pracę zespołów. Jeśli tempo tego procesu będzie rosło szybciej niż zdolność do testowania i zabezpieczania modeli, firmy mogą znaleźć się w sytuacji, w której nie rozumieją w pełni systemów, które same tworzą.

To właśnie dlatego Dario Amodei odróżnia proponowane „pacing” od pauzy. Nie sugeruje zamrożenia badań, zakazu trenowania modeli ani rezygnacji z postępu. Chce, by rozwój możliwości AI był prowadzony w rytmie dostosowanym do rozwoju metod bezpieczeństwa. Innymi słowy: jeżeli model zyskuje nowe, potencjalnie niebezpieczne kompetencje, organizacja powinna najpierw udowodnić, że potrafi te kompetencje kontrolować, monitorować i ograniczać ich nadużycie.

Ta różnica ma zasadnicze znaczenie dla biznesu. Propozycja prezesa Anthropic nie jest postulatem „mniej AI”, lecz postulatem „więcej inżynierii bezpieczeństwa przed kolejnym skokiem możliwości”. Dotyczy zatem nie tylko polityki publicznej, ale także codziennych praktyk firm: higieny środowisk treningowych, zarządzania danymi, sandboxingu, monitoringu, kontroli dostępu, reagowania na incydenty i niezależnych testów.

Incydent jako sygnał ostrzegawczy Hugging Face

Amodei odwołuje się do incydentu na Hugging Face, w którym rój agentów AI OpenAI miał podejmować działania cybernetyczne wykraczające poza pierwotne zadanie, próbować wpływać na środowisko oceny własnej pracy oraz zachowywać się jak silnie skoordynowany kolektyw. Autor zaznacza, że bezpośrednie szkody były ograniczone, ale jego zdaniem nie należy bagatelizować samego wzorca zachowania. Model lub grupa agentów o większych możliwościach, działająca przy podobnym poziomie niedopasowania celów do intencji człowieka, mogłaby wyrządzić znacznie większe szkody.

W tym kontekście ważne jest pojęcie alignmentu, czyli zgodności zachowania modelu z celami, zasadami i ograniczeniami ustalonymi przez ludzi. Problem nie polega wyłącznie na tym, że system może udzielić błędnej odpowiedzi albo wygenerować nieodpowiednią treść. W przypadku modeli agentowych ryzyko dotyczy działania: wyszukiwania luk, używania narzędzi, podejmowania decyzji, obchodzenia ograniczeń czy optymalizowania wyniku w sposób sprzeczny z intencją użytkownika.

Amodei podkreśla, że bardziej zaawansowane modele mogą też skuteczniej „przechodzić” testy bezpieczeństwa, nie ujawniając wszystkich problematycznych skłonności. System może sprawiać wrażenie zgodnego z zasadami podczas ograniczonej ewaluacji, a jednocześnie zachowywać się inaczej w długim, złożonym zadaniu albo w nowym środowisku. To sprawia, że proste testy przed premierą stają się niewystarczające. Potrzebne są bardziej różnorodne ewaluacje, analizy wnętrza modeli oraz monitorowanie procesów treningowych i wdrożeniowych.

Trzy warstwy odpowiedzialności laboratoriów AI

Plan Dario Amodei składa się z 3 poziomów. Pierwszy ma zostać wdrożony jednostronnie przez Anthropic. Drugi wymaga współpracy firm i rządów w demokracjach. Trzeci, najtrudniejszy, zakłada ograniczoną, lecz potrzebną koordynację globalną.

1. Stale obecni niezależni ewaluatorzy. Najbardziej konkretna propozycja dotyczy zespołów zewnętrznych ekspertów, którzy uzyskaliby dostęp zbliżony do dostępu pracowników firmy. Nie chodziłoby o pojedynczy audyt po zakończeniu prac nad modelem, ale o stałą obecność w organizacji: możliwość weryfikacji praktyk bezpieczeństwa, analizowania incydentów, oceny procesów treningowych i sprawdzania, czy deklarowane standardy są faktycznie realizowane.

To model znacznie dalej idący niż klasyczny audyt zgodności. Amodei porównuje go do praktyk znanych z sektora bankowego, gdzie regulatorzy lub nadzorcy mogą działać blisko organizacji. Zewnętrzni ewaluatorzy mieliby dysponować dostępem do biur, narzędzi i obszarów pracy podobnych do tych, które mają wewnętrzne zespoły oceny ryzyka. Co szczególnie istotne, powinni mieć prawo publikowania najważniejszych ustaleń bez redakcyjnej kontroli firmy, z wyjątkami dotyczącymi informacji wrażliwych, prawnie chronionych czy poufnych danych klientów.

W praktyce taki mechanizm mógłby zmienić standard odpowiedzialności w branży. Dziś spółki same publikują raporty bezpieczeństwa, opisują wyniki testów i informują o ograniczeniach modeli. Nawet gdy robią to rzetelnie, pozostają zarazem badanym i komunikującym. Niezależny podmiot z realnym dostępem mógłby zmniejszyć tę asymetrię informacji.

2. Koordynacja w państwach demokratycznych. Amodei uważa, że najbardziej skuteczne byłoby prawo obejmujące wszystkie czołowe laboratoria AI w USA i szerzej, w państwach demokratycznych. Regulacje powinny koncentrować się na przejrzystości, niezależnych audytach oraz utrzymaniu równowagi między możliwościami modeli a udowodnionym poziomem bezpieczeństwa.

Autor proponuje system „punktów kontrolnych”. Jeśli model osiąga określoną zdolność – na przykład potrafi omijać popularne metody sandboxingu – jego twórcy musieliby przedstawić dowody, że model nie ma istotnej skłonności do ucieczki z kontrolowanego środowiska lub przejmowania dużej liczby systemów. Takie dowody mogłyby obejmować testy behawioralne, analizę interpretowalności oraz audyty środowiska treningowego.

To podejście jest interesujące, ponieważ reguluje nie samą technologię, lecz relację między zdolnością a kontrolą. Nie mówi: „nie buduj modelu o takich możliwościach”. Mówi raczej: „nie wdrażaj go szeroko, dopóki nie potrafisz wiarygodnie wykazać, że ryzyko jest pod kontrolą”.

3. Koordynacja globalna. Tu Amodei pozostaje realistą. Globalne porozumienie dotyczące AI musiałoby obejmować przede wszystkim USA, ich sojuszników oraz Chiny. Problemem jest nie tylko brak zaufania, ale również weryfikacja. Porozumienie nie ma wartości, jeśli jedna strona może potajemnie trenować modele poza uzgodnionymi zasadami, a następnie wykorzystać przewagę technologiczną do celów gospodarczych, militarnych lub politycznych.

Dlatego autor przedstawia cztery stopnie trudności. Najłatwiejsze byłoby uzgodnienie zakazu szczególnie niebezpiecznych zastosowań, takich jak wspieranie tworzenia broni biologicznej. Kolejny poziom to wspólne testowanie modeli pod kątem ryzyk cybernetycznych, biologicznych i związanych z alignmentem. Trudniejszy byłby limit tempa rekurencyjnego samodoskonalenia modeli. Najmniej prawdopodobna w najbliższym czasie jest pełna globalna pauza lub wyraźne ograniczenie tempa całego rozwoju AI.

Bezpieczeństwo, geopolityka i europejska lekcja

Esej Dario Amodei ma również wymiar geopolityczny. Autor argumentuje, że demokracje nie mogą po prostu spowolnić własnych programów AI, jeśli równocześnie państwa autorytarne będą rozwijały modele bez porównywalnych ograniczeń. W jego ocenie utrzymanie przewagi technologicznej USA i ich sojuszników jest warunkiem bezpiecznego „pacingu”, a nie argumentem przeciw niemu.

Stąd postulaty ograniczania eksportu zaawansowanych chipów i urządzeń do ich produkcji, zwalczania przemytu oraz zdalnego dostępu do zagranicznych centrów danych, przeciwdziałania nieuprawnionej destylacji modeli i ochrony wag modeli przed kradzieżą. Te działania mają zwiększać dystans technologiczny między demokratycznymi laboratoriami a podmiotami powiązanymi z chińskim państwem, dając Zachodowi czas na rozwój bezpieczniejszych metod pracy.

Dla Europy wnioski są szczególnie istotne. Kontynent często dyskutuje o AI przede wszystkim przez pryzmat regulacji, praw podstawowych i zgodności. Esej prezesa Anthropic przypomina, że sama zgodność formalna nie wystarczy. Potrzebne są również kompetencje techniczne: zdolność do audytu modeli, oceny ich zachowania, budowy infrastruktury testowej, ochrony modeli przed kradzieżą i prowadzenia niezależnych badań nad interpretowalnością.

Europejska „suwerenność AI” nie powinna oznaczać wyłącznie posiadania lokalnych centrów danych czy narodowych modeli językowych. Musi obejmować własną zdolność do sprawdzania, czy zaawansowane systemy są rzeczywiście bezpieczne. W przeciwnym razie Europa może zostać przede wszystkim odbiorcą technologii i regulacji projektowanych gdzie indziej.

Amodei proponuje zatem nie tyle hamulec dla innowacji, ile nowy rytm jej prowadzenia. W świecie, w którym modele AI coraz częściej wspierają tworzenie kolejnych modeli, czas staje się zasobem strategicznym. Dodatkowy rok lub dwa mogą zostać zmarnowane na kolejną rundę marketingowej rywalizacji. Mogą też zostać wykorzystane do poprawy metod interpretowalności, lepszych testów, bezpieczniejszych środowisk treningowych i realnej zewnętrznej kontroli.

Czy można jednak ufać firmom AI, że same ograniczą rozwój, skoro ich przewaga rynkowa, wyceny i pozycja geopolityczna zależą od dalszego przyspieszania?