AI spowalnia pracę programistów, choć wydaje się im, że jest inaczej

W badaniu zrealizowanym przez organizację METR, stosowanie AI wydłużyło wykonanie zadania przez programistów średnio o 1/5. Doświadczeni programiści open source nie potrafili właściwie przewidzieć wpływu AI na swoją produktywność, a co więcej – ocenić go właściwie po wykonaniu zadania.  

METR to organizacja non-profit, która bada możliwości AI. Jej badacze to eksperci, którzy wcześniej pracowali często dla czołowych firm i ośrodków rozwijających AI.  Przedstawili oni ostatnio wyniki interesującego eksperymentu, którego celem było zmierzenie rzeczywistego wpływu narzędzi AI na efektywność pracy programistów open source („Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity” https://arxiv.org/pdf/2507.09089). Wbrew oczekiwaniom i wynikom publikowanych wcześniejszych badań, narzędzia AI spowolniły programistów.

Nieoczekiwane spowolnienie

W badaniu wzięło udział 16 doświadczonych programistów open-source z umiarkowanym doświadczeniem w pracy z AI (głównie ChatGPT, mniej niż połowa Cursor). Mieli oni średnio 5 lat doświadczenia w projektach. Otrzymywali wynagrodzenie w wysokości 150 USD za godzinę. Programiści wykonali 246 zadań (średnio 2 godziny na zadanie) w dojrzałych, dobrze znanych repozytoriach open-source (średnio 23 000 gwiazdek na GitHubie, 1,1 miliona linii kodu). Zadania były rzeczywistymi zgłoszeniami błędów, prośbami o nowe funkcje lub elementami pracy, które programiści zamierzali wykonać.

Zadania przydzielono losowo, losowo umożliwiając też lub uniemożliwiając korzystanie z narzędzi AI (ostatecznie 136 zadań można było wykonać z pomocą AI). Do wyboru były aktualne narzędzia, pochodzące z pocz. 2025 r. (badanie zrealizowano od lutego do czerwca br.). Gdy użycie narzędzia AI było dozwolone, programiści korzystali przede wszystkim z Cursor Pro (edytora kodu będącego forkiem VSCode IDE z funkcjami AI) oraz Claude 3.5/3.7 Sonnet.

Badanie było randomizowanym badaniem kontrolowanym (RCT). Czas ukończenia zadań mierzono bezpośrednio, a zadania były definiowane przed randomizacją, aby uniknąć wpływu na miarę wyniku.

Przed rozpoczęciem zadań i po ich zakończeniu uczestnicy badania musieli ocenić, jak narzędzia AI wpływają na czas wykonania. Programiści na wstępie przewidywali skrócenie dzięki AI czasu ich ukończenia o 24%, a po badaniu szacowali, że AI skróciła czas o 20%. Faktycznie korzystanie z narzędzi AI wydłużyło czas realizacji zadań o 19%. To spowolnienie jest również sprzeczne z przewidywaniami ekspertów z dziedzin ekonomii (39% krócej) i uczenia maszynowego (38% krócej).

Jak do tego doszło?

Zidentyfikowano 21 czynników, które mogły spowodować spowolnienie. Dalsze badanie przyniosło dowody na to, że 5 czynników przyczyniło się do spowolnienia, dla 10 czynników dowody były niejasne lub ich zabrakło, a w przypadku 6 czynników udowodniono, że nie miały wpływu.

Czynniki przyczyniające się do spowolnienia, to:

• Nadmierny optymizm co do użyteczności AI. Programiści nazbyt optymistycznie oceniali wpływ AI na swoją produktywność, co mogło prowadzić do nadużywania narzędzi AI, mimo ich negatywnego wpływu na produktywność.
• Wysokie doświadczenie programistów w repozytoriach. Programiści byli bardziej spowolnieni w przypadku zadań, w których mieli duże doświadczenie. Sugeruje to, że AI jest mniej pomocna, gdy programista jest już ekspertem.
• Duże i złożone repozytoria. Programiści zauważyli, że narzędzia LLM gorzej radziły sobie w bardziej złożonych środowiskach. Repozytoria w badaniu były duże i dojrzałe, co mogło ograniczać skuteczność AI.
• Niska niezawodność AI. Programiści akceptowali mniej niż 44% wygenerowanych przez AI fragmentów kodu i spędzali znaczną ilość czasu (około 9% czasu pracy) na przeglądaniu i poprawianiu danych wyjściowych AI, nawet gdy je akceptowali.
• Użycie nieudokumentowanego kontekstu repozytorium. Programiści często polegają na nieudokumentowanej wiedzy o bazie kodu, której brakuje AI, co prowadzi do mniej użytecznych wyników AI.

Niejasny, niepotwierdzony wpływ na spowolnienie miały takie czynniki, jak eksperymentalne nadużywanie AI przez programistów, niereprezentatywny rozkład zadań (zadania były krótsze niż zazwyczaj), zwiększenie zakresu zadań przez AI (programiści pisali 47% więcej kodu na godzinę z AI, ale efekt był statystycznie nieistotny).

Czynniki, których wpływ na spowolnienie wykluczono, to m.in. brak znajomości środowiska (Cursor jest podobny do VSCode), oszustwa lub niedostateczne użycie AI, rezygnacja z zadań, niestandardowe miary wyniku lub estymatory czy wykorzystanie starszych modeli AI.

Anomalia w badaniach czy pierwsza rzetelna ocena?

Autorzy badania cytują i analizują także wcześniejsze badania, które wykazywały wzrost produktywności (od 14% do 65%). Wykorzystywały jednak zadania sztuczne (nie projektowe), zmienne miary wyników (np. liczba linii kodu, liczba zatwierdzeń), które niekoniecznie odzwierciedlają produktywność, lub obejmowały mniej doświadczonych programistów.

Obserwowane spowolnienie nie oznacza, że obecne narzędzia AI nie poprawiają produktywności programistów w innych kontekstach. Wyniki są spójne z tym, że projekty greenfield (nowe projekty) lub praca w nieznanych bazach kodu mogą nadal korzystać ze znacznego przyspieszenia dzięki AI. Badacze spodziewają się, że przyszłe systemy AI o wyższej niezawodności, niższej latencji lub lepiej dostosowane (np. poprzez fine-tuning) mogą przyspieszyć programistów nawet w badanym środowisku.