Ciągłe dodawanie danych treningowych modelom AI nie zaowocuje AGI

Podzwonne dla “praw” skalowania: znany komentator i krytyk obecnego paradygmatu rozwoju sztucznej inteligencji, Gary Marcus, pisze, że hipoteza o skalowaniu wielkich modeli językowych prowadzącym do ogólnej sztucznej inteligencji (AGI) ostatecznie zbankrutowała. Według niego, ten błąd doprowadził do obecnej „bańki AI” i jest zarazem jedną z najdroższych pomyłek w historii nauki.

“Scale is all you need”

Gary Marcus rozpoczął swoją kampanię przeciwko temu założeniu już w marcu 2022 roku esejem „Deep Learning is Hitting a Wall”, a następnie w maju 2022 roku w „The New Science of Alt Intelligence”. W tamtym czasie krytykowana przez niego koncepcja była niezwykle popularna i określana mianem „scale is all you need”. Pomysł ten zakładał, że można użyć „masowych ilości danych – często pochodzących z rejestracji  ludzkich zachowań – jako substytutu inteligencji”. Wśród największych zwolenników podejścia skalowania znajdował się Sam Altman, który porównywał rzekome „prawa skalowania” do praw wszechświata i oparł na tej koncepcji rozwój swojej firmy.

Gary Marcus twierdził już wówczas, że to nigdy nie zadziała. Jego zdaniem, nawet przy użyciu większej ilości danych, kluczowym problemem tych systemów była i jest ich niedostateczna niezawodność, prowadząca do problemów z halucynacjami, ustaleniem prostych faktów, rozumowaniem, z oceną przypadków odbiegających od standartów, wymykających się uśrednieniu – generalizacji. Jak sam przyznaje, to stanowisko nieomal kosztowało go karierę.

Zwrot w nastrojach środowiska AI

Dowodem na upadek hipotezy jest odejście od niego przez środowisko AI. Podejście zwane przez Gary’ego Marcusa „scaling-über-alles” – które było dominującym poglądem od 2020 do 2025 roku i kształtowało badania, inwestycje oraz politykę rządową – zostało podważone i poddane krytyce podczas konferencji Neural Informarion Processing Systems w San Diego.

To wydarzenie gromadzące kluczowe osoby środowiska uczenia maszynowego, którego doroczna edycja przyniosła szereg głosów świadczących o zmianie nastawienia do budowania AGI przez skalowanie. Marcus cytuje w tym wypadku relację serwisu The Information. Poważne obawy wobec obecnego podejścia wyraził między innymi prof. Richard Sutton, jeden z twórców uczenia przez wzmocnienie (reinforcement learning), który powiedział, że dodawanie do treningu modeli kolejnych specjalizowanych danych wytworzonych przez ludzi nie przynosi poprawy jakości działania modeli, zamiast tego powinno się dążyć do nauki z doświadczenia. W San Diego wygłosił on wykład o architekturze dębu (oak architecture), która może prowadzić do budowy superinteligencji poprzez doswiadczenie (dla zainteresowanych – wykład o swojej propozycji przedstawił także wcześniej podczas konferencji Reinforcement Learning w sierpniu 2025 i jest on dostępny w całości). Na NaurIPS w podobnym duchu wyrażał się także np. cytowany David Luan, szef AI Research w Amazon, który stwierdził, że dzisiejszy sposób uczenia modeli AI z pewnością nie będzie kontynuowany.

Gary Marcus przypomina, że obecne ograniczenia potwierdzają liczne badania, jak np. raport MIT NANDO (omawiany na łamach ITwiz ),  które wykazało, że oczekiwany zwrot z inwestycji w generatywnej sztucznej inteligencji nie jest osiągany przez większość klientów (w badaniu MIT aż 95% firm nie uzyskało ROI z GenAI). Powszechnie więc,  początkowy entuzjazm ustępuje rozczarowaniu.

Nowa droga dla AI

Skoro podejście oparte na samym skalowaniu zawiodło, Gary Marcus wzywa do powrotu do korzeni badań nad sztuczną inteligencją. Uważa, że należy zaprzestać fantazjowania o tym, że same dane i moc obliczeniowa rozwiążą wszystkie problemy.

Aby zbudować AGI, musimy czerpać wiedzę od ludzi o tym, jak rozumują, jak pojmują świat fizyczny oraz jak przyswajają język i złożone koncepcje. Choć AI nie powinna być niewolniczą repliką ludzkiej inteligencji, musi szukać wskazówek w ludzkiej (i zwierzęcej) sferze poznawczej. Dlatego zdaniem Gary’ego Marcusa, nadszedł czas, aby włączyć naukowców kognitywnych do prac nad AI. Przyszłość należy do neurosymbolicznej sztucznej inteligencji, modeli świata (world models) i przyczynowości (causality). Ma to doprowadzić do nowej, interdyscyplinarnej ery AI.