Jak polski algorytm skraca robotom drogę do rozsądnego zachowania

Z Michałem Naumanem, laureatem Nagrody im. Witolda Lipskiego 2026, Senior Machine Learning Researcherem w Nomagic, rozmawiam o tym, jak teoretyczne ulepszenia w głębokim uczeniu ze wzmocnieniem skracają robotom drogę do rozsądnego zachowania. Poruszamy też temat synergii wielu zadań naraz oraz zastanawiamy się dlaczego samo skalowanie nie rozwiąże problemu alignmentu, czyli dostosowania działania systemów AI do ludzkich intencji i wartości.

Po pierwsze gratulacje. Twoje prace badawcze zostały wyróżnione między innymi statusem Spotlight na NeurIPS. Jak teoretyczne ulepszenia w głębokim uczeniu ze wzmocnieniem przekładają się na rozwiązanie realnych, złożonych problemów?

Uczenie ze wzmocnieniem, a szczególnie obszar którym się zajmujemy, ma mimo całej dyskusji o skalowaniu jeden zasadniczy cel: żeby systemy uczyły się jak najszybciej. Chodzi o to, żeby nie musiały wchodzić w bardzo dużą liczbę interakcji z rzeczywistym światem, zanim zaczną zachowywać się w miarę racjonalnie. Każda taka interakcja jest bowiem niebezpieczna zarówno dla robota, jak i dla ludzi w jego otoczeniu, zwłaszcza na etapie, gdy maszyna nie działa jeszcze tak, jakby chciał tego inżynier.

Najważniejszym efektem naszej pracy jest zwiększenie wydajności algorytmów. Potrzebują teraz mniej kroków i interakcji z rzeczywistym środowiskiem, żeby osiągnąć poziom działania oczekiwany przez inżyniera czy projektanta. Ten wynik istnieje na poziomie algorytmicznym, ale jego zastosowania są szerokie: od trenowania robotów po systemy kontrolujące elektrownie. Rozwiązanie zostało zaabsorbowane przez środowisko badawcze i wpłynęło na różnego rodzaju projekty. Sam byłem bezpośrednio zaangażowany w wytworzenie humanoidalnego robota, który potrafi chodzić i wstawać. Porównaliśmy naszą architekturę, wyróżnioną nagrodą Spotlight, z podejściem klasycznym i powtórzyliśmy wynik: robot zaczął zachowywać się w sensowny sposób w znacznie krótszym czasie i przy znacznie mniejszej liczbie interakcji z otoczeniem.

Czuję w tym pieniądz. Dlaczego?

Pieniądz rzeczywiście w tym jest. Na trenowanie modeli uczenia maszynowego wydaje się dziś abstrakcyjne kwoty, dlatego każde ulepszenie, które pozwala trenować bardzo duży model szybciej, to środki, które nie muszą być wydawane na prąd czy na akceleratory. Nasza praca stała się domeną publiczną, ale sam kierunek rozwoju ma wyraźny potencjał finansowy. Da się go przekuć w pomysły biznesowe, które będą efektywne i konkurencyjne na rynku.

Zamiast trenować robota na jednym zadaniu, dałeś mu wiele różnych. Jak to zadziałało?

Tak. Dobrym przykładem jest robotyczna ręka, którą chcemy nauczyć manipulowania przedmiotami o różnych kształtach. Mogliśmy trenować ją oddzielnie na każdym kształcie i tworzyć oddzielny kod do obsługi każdego z nich. Ale czuliśmy, że to strata czasu, bo wiele kształtów ma cechy wspólne, a człowiek stosuje podobne, podstawowe ruchy do manipulowania różnymi kształtami.

Pozornie „utopienie” robota w wielu zadaniach może wytworzyć chaos, z którego nie uda mu się wydobyć, ale w praktyce, gdy tylko proces jest dobrze ustawiony, z dużą siecią neuronową, efekt znajdowania części wspólnych między zadaniami jest bardzo silny i wynagradza dodatkową kompleksowość. Efekt synergii i wyszukiwania uniwersalnych strategii, które działają w różnych warunkach, pozwala modelowi szybciej trafiać na właściwy trop.

Jeżeli robot uczy się tylko stania, może opanować tę umiejętność, ale jego postawa może być mało odporna na zewnętrzne zakłócenia. Wystarczy, że człowiek go popchnie i się wywróci. Jeżeli będziemy natomiast trenować jednocześnie stanie i bieganie, to nauka biegania wytworzy koncept balansu i równowagi, który przełoży się na stabilniejsze stanie. Mimo że trenowanie wielu zadań naraz jest problemem o zwiększonej kompleksowości, wynajdywanie wspólnych mianowników naprowadza model wcześniej na potencjalnie lepsze rozwiązania. To właśnie obserwujemy w naszych badaniach.

Nad lepszym chwytaniem przedmiotów przez roboty pracują teraz naukowcy na AGH. Jak/Czy Twoje badania mogłyby im pomóc?

Obecnie jestem pracownikiem firmy Nomagic, która rozwija roboty w zastosowaniach logistycznych. Możliwości współpracy z AGH trzeba byłoby omówić, ale jestem otwarty na współpracę z polskimi naukowcami.

Twoje badania mogą zainteresować największych graczy rozwijających AI. Da się na nich zarobić?

Wyniki badań naukowych z natury stają się domeną publiczną i tak powinno być. Na tym opiera się tempo rozwoju całej dziedziny. Sam algorytm to jednak tylko przepis. Prawdziwa wartość leży w doświadczeniu i intuicji, które zdobywa się, pracując nad nim latami: w wiedzy o tym, co działa w praktyce, czego unikać i jak przenieść wynik z laboratorium do rzeczywistego systemu. Tego nie da się skopiować z publikacji. Dlatego uważam, że to bardzo obiecujący kierunek, a osoby, które się nim zajmują, mają świetne perspektywy, także w największych firmach rozwijających AI.

Najwięksi gracze mogą korzystać z takich badań, ale ich autorzy nie dostaną za to ani grosza.

Bezpośrednio nie, ale taki jest model nauki i ma on swoje zalety. Otwarta publikacja buduje rozpoznawalność, a za nią idą zaproszenia do współpracy, granty i propozycje pracy. Często właśnie od tych największych graczy. Warto też, żeby młodzi naukowcy już w trakcie doktoratu świadomie decydowali, co publikują od razu, a co warto najpierw zabezpieczyć. Wielu z nich na tym etapie kariery jeszcze o tym nie myśli.

A nie myślałeś o opatentowaniu wyników swoich badań?

Nasza praca jest opublikowana i rozpoznawana jako nasz wkład, i to był świadomy wybór. Zależało mi na tym, żeby polska nauka była widoczna na najważniejszych światowych konferencjach. Jeśli w przyszłości pojawi się sensowna możliwość ochrony kolejnych rozwiązań, chętnie ją rozważę. Jestem przekonany, że to nie ostatnia wartościowa rzecz, którą zrobimy.

Na koniec wróćmy do skalowania, z twoich badań wynika, że większa moc obliczeniowa nie musi oznaczać szybszego przyrostu kompetencji. Badałem sprawę alignmentu i spytałem model, czy przyrost GPU, mocy obliczeniowej i data center spowoduje większą szansę na prawidłowy alignment wobec naszych celów. Odpowiedział że nie, bo możemy powielać te same błędy na większą skalę. Czy zgadzasz się z taką oceną?

To bardzo interesujące pytanie. W wielu dziedzinach rozwoju AI zostaliśmy absolutnie zaskoczeni, a modele językowe są tego dobrym przykładem. OpenAI opublikowało niedawno wiele prac matematycznych, a jeszcze 30 lat temu nikt by nie pomyślał, że najbardziej efektywnym sposobem rozwiązania problemu matematycznego X będzie wytworzenie sztucznej inteligencji, i to w kompetencjach językowych, a niekoniecznie stricte matematycznych. Jest w tym pewne dziwactwo, że najkrótszą drogą do problemu X niekoniecznie musi być skupienie się na problemie X. Ludzi to zaskoczyło – i taka była też natura mojego wykładu – że to właśnie skalowanie czasami  jest tym cudownym lekiem.

Są jednak problemy, które nie zostaną rozwiązane samym skalowaniem i najprawdopodobniej alignment jest jednym z nich. Jest on tak ściśle związany z możliwościami modelu, że nie można zakładać, że wraz z ich wzrostem alignment poprawi się sam. Zgadzam się co do zasady: nie spodziewałbym się, że alignment będzie rozwiązany samym skalowaniem. Moim zdaniem[8]  alignment wymaga pracy stricte nad alignmentem.

Jakiś czas temu napisałem artykuł, w którym zebrałem argumenty prowadzące do wniosku, że modele są wytrenowane na psychopatów. Jeżeli chcemy mieć alignment, musimy zmienić sposób trenowania. Kuba Pachocki, Chief Scientist w OpenAI – powiedział niedawno, że musimy nauczyć modele nas kochać. Bez tego alignment jest chyba raczej niemożliwy. To są złe wagi już na etapie treningu.

To ciekawa perspektywa w której zdecydowanie coś jest. Zaczynamy żyć w kosmicznym świecie i trudno zrozumieć konsekwencje tego wszystkiego. Być może musimy świadomie wprowadzać wartości w sam proces treningu, a nie liczyć, że same się jakoś pojawią.