Revolut obniżył koszty AI o 90% dzięki otwartym modelom

Revolut ograniczył wydatki na narzędzia AI wspierające programowanie o około 90% w ciągu niespełna roku. Brytyjski fintech zastąpił komercyjne usługi, w tym Claude Code, modelami GLM uruchamianymi we własnej infrastrukturze. Zmiana ta przyniosła nie tylko oszczędności, ale przyspieszyła także pracę zespołów inżynierskich.

Podczas konferencji AI Engineer w Nowym Jorku, David Abitbol, szef operacji i infrastruktury w Revolucie, wyjaśnił, że po wdrożeniu narzędzi AI dla około 2 tys. inżynierów, czas pisania kodu skrócił się o 60%, a realizacji zadań spadł o 70%.

Firma testowała wcześniej modele Gemini, a na początku 2026 roku wdrożyła Claude Code. Wysokie koszty korzystania z tych rozwiązań szybko stały się jednak sporym problemem. Niektórzy inżynierowie wydawali bowiem na AI od 1000 do nawet 10 tys. dolarów miesięcznie, nie uzyskując przy tym satysfakcjonującego zwrotu z inwestycji. Revolut wprowadził więc limity zużycia tokenów, a następnie zaczął szukać tańszej alternatywy.

Własne modele GLM i tańsze programowanie z AI

Wybór padł na modele GLM chińskiej firmy Z.ai, które należą do najpotężniejszych na świecie o otwartych wagach, co oznacza, że można je pobrać i uruchomić lokalnie lub w chmurze. I właśnie lokalnie uruchomił je brytyjski fintech. Początkowo Revolut korzystał z modelu GLM-5.1, a obecnie wykorzystuje GLM-5.3. Według Davida Abitbola, koszt przetwarzania miliona tokenów wynosi około 0,30 dolara, co pozwoliło obniżyć wydatki mniej więcej dziesięciokrotnie w porównaniu z komercyjnymi narzędziami, takimi jak Codex czy Claude Code. Przy tak niskich kosztach firma mogła też zrezygnować z rygorystycznego kontrolowania zużycia tokenów.

Wspomniane modele AI pomogły Revolutowi nie tylko w szybszym pisaniu kodu, przejęły też debugowanie i obsługę zgłoszeń w Jira oraz Confluence. Najwięcej firma zyskała tam, gdzie mogła korzystać z dużej liczby tanich tokenów.

Uruchomienie GLM-5.3 wymagało jednak odpowiedniego zaplecza sprzętowego. Revolut wykorzystuje w tym celu 56 procesorów graficznych Nvidia B200, co odpowiada siedmiu systemom DGX B200. O wydajności środowiska przesądziła nie sama liczba układów GPU, lecz także optymalizacja modelu. Firma zastosowała m.in. kwantyzację NVFP4, rozdzieliła etapy wstępnego przetwarzania danych i generowania odpowiedzi, a także dostosowała długość okna kontekstowego. Testy wykazały, że obsługa miliona tokenów nie jest potrzebna. W praktyce wystarcza 256 tys., co pozwala utrzymać czas wygenerowania pierwszego tokena poniżej 3 sekund i szybkość generowania na poziomie około 200 tokenów na sekundę.

Nie wszystkie zadania trafiają do GLM

Revolut nie zrezygnował jednak całkowicie z modeli komercyjnych. Model GLM, który obsługuje zadania tekstowe, związane przede wszystkim z programowaniem, niestety nie radzi sobie równie dobrze z pracą nad interfejsami użytkownika. Zapytania wymagające analizy obrazu są więc kierowane do innych modeli, m.in. Gemini i GPT.

David Abitbol podkreślił, że otwarte modele są obecnie priorytetem firmy również ze względu na przewidywalność kosztów. Własna infrastruktura pozwala uniknąć niespodziewanych rachunków za korzystanie z API. Przyznaje jednak, że chińskie modele z otwartymi wagami mogą budzić wątpliwości co do prywatności i bezpieczeństwa danych. Jego zdaniem, ryzyko dotyczy przede wszystkim korzystania z nich za pośrednictwem interfejsów API obsługiwanych z Chin. Z kolei uruchamianie modeli we własnym centrum danych lub w regionalnej infrastrukturze chmurowej pozwala zachować większą kontrolę nad przetwarzanymi informacjami.