Stworzyliśmy w Allegro system złożony z kilku, jednostkowych agentów AI

Z Kamilem Konikiewiczem, dyrektorem obszaru Data & AI w Grupie Allegro rozmawiam o: pierwszej w Polsce kampanii marketingowej wygenerowanej przez agentów AI; zdobytych doświadczeniach; roli agentów AI; ich kreatywności i reużywalności funkcji, które wykonują; ograniczeniach systemów agendowych; planach wykorzystania Agentic AI w kolejnych obszarach; a także najważniejszych lekcjach z pierwszych projektów oraz pracy domowej, którą powinny wykonać firmy planujące wejść w technologię Agentic AI.

Dlaczego zdecydowaliście się na wykorzystanie agentów AI – wciąż jeszcze pionierskich narzędzi – w Grupie Allegro i jakie cele postawiliście przed sobą?

Od dłuższego czasu przyglądaliśmy się tej technologii. Dość szeroko zaczęła występować w przestrzeni publicznej i w rozmowach z partnerami technologicznymi. Stąd decyzja o jej wdrożeniu w Grupie Allegro.

Czemu zaczęliście akurat w marketingu, a nie w innym obszarze?

Ten konkretny case bardzo dobrze pasował do wykorzystania możliwości agentic AI. Z jednej strony dotyczył zadania, które jest powtarzalne. Z drugiej ma pewien aspekt kreatywności. Jednocześnie agentic AI pozwala łączyć wiele, różnych źródeł danych i elementów procesu. Był to więc dobry poligon na przetestowanie tego typu podejścia.

Dzięki agentom AI chcieliśmy odciążyć ekspertów kreatywnych i specjalistów marketingu w realizacji – powtarzalnych w sumie – zadań związanych z opracowaniem koncepcji kampanii. Mają one na celu zainspirowanie naszych klientów do zainteresowania się określonym katalogiem produktów.

Widzieliśmy też, że te działania mogły zostać usprawnione i przyspieszone, ale też poszerzone dzięki wykorzystaniu szerokiej wiedzy ogólnej o dzisiejszym świecie, którą tego typu agent AI – a dokładnie działający pod spodem model LLM – posiada.

Nie mówiąc o tym, że – w miarę rozwoju rozwiązania agentowego – będziemy rozszerzali je o dostęp do dodatkowych źródeł danych, nie tylko powtarzalnych wydarzeń kalendarzowych, ale też jednorazowych, np. związanych z premierą jakiegoś produktu. Są one zawsze triggerami do tego, aby naszych klientów zainteresować konkretnymi ofertami na Allegro.

Rozumiem, że te kampanie są skierowane do użytkowników Allegro?

Tak. W pierwszej wersji były to kampanie dość szeroko adresowane. Agenci AI przygotowywali teksty i grafiki, a także dobierali pasującej do danego wydarzenia oferty. Mieli też robić to w ten sposób, aby poszczególne kampanie były względem siebie komplementarne, a nie kanibalizowały się nawzajem.

W kolejnych etapach na pewno będziemy przesuwali nasze rozwiązanie w stronę mikrotargetowania. Kolejny agent AI będzie też dobierał do danej kampanii grupę docelową, która będzie zainteresowana danym, premierowym wydarzeniem lub produktem.

Z jakich źródeł korzystają agenci? Mówiłeś o wykorzystaniu modeli LLM.

Z jednej strony – jak wspomniałem – jest to wiedza ogólna o świecie, dostarczająca informacje o tym co – w wybranych dniach – może być okazją do zwrócenia uwagi użytkowników Allegro na jakąś grupę produktów.

Wspominaliście o Dniu Matki…

Informację o tym, z czym wiąże się data 26 maja ma zapewne każdy LLM, jak i człowiek. Natomiast agent AI był w stanie zaskoczyć nas dużo bardziej kreatywnymi pomysłami. Wracając do pytania o dodatkowe źródła informacji. Przede wszystkim była nim wyszukiwarka Allegro i dostęp do katalogu produktów dostępnych na naszej platformie.

W momencie kiedy mamy już podany kontekst wydarzenia – niech to będzie Dzień Matki – to pod spodem uruchomiany jest szereg zapytań dotyczących kategorii produktów, które model językowy uważa za pasujące do tego święta. Z każdej z tych kategorii, zazwyczaj są ich dziesiątki, wybierane są konkretne oferty. Z tych ofert komponowany jest tzw. koszyk marketingowy, koszyk kampanijny.

W miarę, jak będziemy przesuwali się w stronę modelu operacjonalizacji tych kampanii – dobierania grupy kontrolnej i tworzenia gotowego jej szablonu – dochodził będzie jeszcze aspekt integracji systemu agentowego z naszymi narzędziami kampanijnymi. Pozwalają one przygotować diagram selekcji klientów, który będzie odwoływał się też do odpowiedniego kontentu czy pozycji ofertowych.

Podsumowując, w pierwszej wersji naszego systemu Agentic AI produktem była sama treść, np. szablon maila. W drugiej wersji będzie to już de facto gotowa propozycja kampanii z podlinkowanymi wszystkimi treściami, a także elementami graficznymi i ofertowymi. Będzie to gotowa propozycja wymagająca jedynie akceptacji naszego eksperta.

Mówiłeś, że agenci zaskoczyli Was swoją kreatywnością.

Z jednej strony liczbą propozycji, które były bardzo dobre i nieoczywiste. Z drugiej zaś radziły sobie bardzo dobrze z nietrywialnymi pytaniami czy zadaniami w stylu, „znajdź propozycje na dzień awokado”. Okazuje się, że nawet na takie hasło agent AI był w stanie skomponować bardzo ciekawą selekcję produktów, nie tylko spożywczych, ale np. związanych z kosmetykami. Inny case to premiera kolejnego sezonu Squid Game i towarzyszące jej „szaleństwo” związane z gadżetami.

W naszym projekcie istotny był aspekt związany z kulturą wykorzystywania danych do usprawnienia działań i odpowiedniego ich rozkładu w czasie, wykorzystania klasycznych narzędzi Machine Learning do tego, aby rozumieć jaki jest idealny balans pomiędzy częstotliwością komunikacji, która inspiruje naszych klientów do działania, ale jednocześnie nie przemęcza ich niepotrzebnymi treściami.

Jakie procesy udało wam się zautomatyzować dzięki wykorzystaniu agentów AI? Mówiliście o wygenerowanych przez nich przepływach pracy. Co to znaczy?

Przede wszystkim mówimy o zadaniach związanych z działalnością kreatywną, z obszaru marketingu i mediów własnych, ale też programu lojalnościowego. W tych zadaniach aspekt integracji z wewnętrznymi systemami Allegro jest znacząco mniejszy. Natomiast oczywiście pracujemy nad tym, aby pójść o krok dalej.

Chcemy Agentic AI wykorzystać do analityki danych czy też automatyzacji różnego rodzaju przepływów związanych np. obsługą faktury czy zgłoszeń od klientów. Obecnie w wykorzystaniu agentów AI wciąż jeszcze „raczkujemy”. Na pewno jesteśmy dużo bardziej zaawansowani jeżeli chodzi o wykorzystanie technik typu Robotic Process Automation.

Planując „wpięcie” agentów AI do obsługi procesów dotykamy bardzo ważnego aspektu doboru odpowiedniego narzędzia. Warto pamiętać, że nie są oni też lekarstwem na wszystkie możliwe Use Case’y i wszystkie potrzeby automatyzacyjne. W szczególności jeżeli mówimy o sytuacji, w której mamy do czynienia z ustaloną kolejnością działań, w których kroki są powtarzalne. Nie wymagają one przetwarzania tekstu lecz wykonania określonej sekwencji kroków, np. przeniesienia jakieś informacji z jednego systemu do drugiego.

W takich przypadkach agent AI niekoniecznie się przyda. Z definicji może powodować pewnego rodzaju odchylenia wynikające z niedeterministyczności modeli językowych. W tych przypadkach lepsze są klasyczne narzędzia automatyzacyjne. Określenie w jakich przypadkach wykorzystać konkretną technologię to element pracy edukacyjnej i analizy, którą realizujemy na bieżąco.

Oczywiście w świecie dużego hype’u na Generative AI czasem trudno jest uniknąć wrażenia, że „skoro trzymamy w ręku motek, to wszystko wydaje się gwoździem”. Staramy się jednak podchodzić zdroworozsądkowo. Zaczynamy od łatwych Use Case’ów takich, w których jak najwięcej się nauczymy. Jednocześnie zaś kierujemy uwagę biznesu w stronę innych narzędzi, które też mogą im pomóc, wygenerować na koniec dnia oszczędności lub przyspieszyć ich codzienną pracę.

O jakich – poza RPA – narzędziach mówisz?

Są to np. zwykłe silniki rekomendacyjne. Warto też, abyśmy rozróżnili rozwiązania, które są skierowane do wewnątrz organizacji, nastawione na produktywność i te dla użytkowników naszej platformy typu Customer Facing.

W ich przypadku mamy już pierwsze wdrożenia za sobą. Natomiast są one raczej osadzane w pewnych kontekstach, a nie „przyklejone” do największych silników czy też najbardziej kalorycznych źródeł ruchu na Allegro. Dzieje się tak, dlatego, że Agentic AI czy Generative AI mają swoje ograniczenia jeśli chodzi o przewidywalności działania i SLA. Jest też oczywiście aspekt kosztów. Raczej więc się im wciąż przyglądamy.

Przykładem funkcji Customer Facing, która technologie generatywne wykorzystuje, jest tzw. prezentownik. Jest to funkcja, która uruchamia się w momencie, kiedy w wyszukiwarce Allegro wpiszemy frazę „prezent”. Wówczas, zamiast w klasyczny listing wchodzimy do kreatora, w którym językiem naturalnym możemy opisać kogo obdarowujemy, z jakiej okazji, jaki mamy budżet itd. Wówczas dostaniemy spersonalizowany zestaw propozycji pod tę konkretną potrzebę. Natomiast prezentownik nie jest wpięty w główny silnik wyszukiwania. Jest on raczej wywoływany w razie konkretnej potrzeby.

Jeżeli chodzi o inne technologie czy inne Use Case’y, to – czy mówimy o Agentic AI, czy GenAI – w dość dużym stopniu staramy się wykorzystywać tego typu technologie w zespołach technicznych, np. do tworzeniu kodu. Po prostu dajemy narzędzia w ręce deweloperów, edukując ich i starając się rozpoznać gdzie są największe korzyści z ich zastosowania.

W moim zespole Data & AI prowadzimy też badania na temat tego, jak Agentic AI i GenAI mogą wesprzeć pracę Data Scientistów. Tym bardziej, że jest ona specyficzna, ma charakter wysoce eksperymentalny. Często więc w jej przypadku potrzebne jest wiele tzw. cykli związanych ze sformułowaniem problemu, zgromadzeniem danych i przetestowaniem pewnych hipotez, zanim wejdziemy w etap jakiegoś wdrożenia.

Mamy dużo, wewnętrznych Use Case’ów związanych z programowaniem oraz udostępnianiem narzędzi generatywnych pracownikom biurowym, analitykom, ekspertom biznesowym, czy inżynierom. Natomiast jeżeli chodzi o rozwiązania Customer Facing, to są to raczej pojedyncze testy, udostępniane użytkownikom pojedyncze funkcje po to, aby zbierać doświadczenie i by te narzędzia powoli nabierały „masy”.

Jakie były główne korzyści z wykorzystania agentów AI w tych procesach marketingowych?

Przede wszystkim uwolnienie części uwagi naszych ekspertów od zadań, które były dość żmudne i wtórne. Za każdym razem polegały na przejściu przez pewną sekwencję kroków: sczytywaniu różnego rodzaju analiz i materiałów, przeglądaniu katalogu produktów, ustaleniu z zespołami komercyjnymi, które rodzaje produktów promować itd.

Po pierwszych wynikach kampanii widzimy, że w większej skali narzędzia generatywne uzyskują lepsze wyniki jeżeli chodzi o konwersję i wskaźnik zaangażowania, który mówi o tym, jak bardzo dana oferta jest ciekawa i różnorodna, ale też zwarta tematycznie. Wszystkie znaki na niebie i ziemi pokazują, że osiągamy tu dużą poprawę, a jednocześnie nasi eksperci uzyskują więcej przestrzeni do tego, aby mierzyć się z trudniejszymi problemami. Widać duże korzyść, zarówno pod względem wzrostu produktywności, jak i wskaźników biznesowych.

Mówisz o konwersji, która przekłada się na większą liczbę transakcji dokonywanych przez użytkowników?

Na pewno wykorzystanie narzędzi sztucznej inteligencji przekłada się na większe zainteresowanie liczone w klikach i czasie spędzonym na przeglądaniu ofert. Co do zasady zapewne też przekłada się to na lepsze wskaźniki finansowe.

Za kampanie marketingowe odpowiada wielu, realizujących różne zadania agentów?

Tak, można powiedzieć, że stworzyliśmy system agentowy, który pod spodem ma kilku, mniejszych, jednostkowych agentów. Każdy z nich zajmuje się osobnym zadaniem.

Jeden realizuje zadanie stworzenia Key Visual, drugi dobrania produktów, trzeci stworzenia treści marketingowych, czwarty dokonuje rewizji, a piąty – już za chwilę – będzie dobierał grupę docelową, a szósty sprawdzał, czy wszystko to, co stworzyliśmy pozostali agenci spełnia standardy Content Generation obowiązujące w Grupie Allegro. Mamy więc do czynienie z kilkoma, jednostkowymi funkcjami, które składają się na docelowy workflow.

Ważnym wnioskiem, który wynika z naszych pierwszych projektów z Agentic AI jest taki, że w kolejnych implementacjach, kolejnych rozwiązaniach funkcje, które wykonują agenci AI zaczynają się bardzo często powtarzać. Widzimy bardzo duży stopień reużywalności komponentów, które wydawały się, że będą „uszyte” pod jeden, konkretny Use Case stworzenia kampanii marketingowej.

Jak się okazuje, możemy wykorzystać je także na stronie głównej Allegro, albo do tworzenia treści na podstawie zewnętrznych źródeł. Widać wyraźnie efekt synergii już po dwóch, pierwszych scenariuszach, które zrealizowaliśmy.

Można już mówić także o „burzy mózgów” pomiędzy agentami AI?

Chyba jeszcze nie. Jakiś czas temu natrafiłem na definicję, która mówi o rozgraniczeniu pomiędzy systemami agentowskimi, a czymś, co się nazywa Agentic Workflow. Workflow, czyli de facto sekwencja działań o ustalonym porządku. Każde z nich jest faktycznie z jakimś tam stopniem swobody realizowane przez jednostkowych agentów. Ale nie jest to system autonomiczny, w którym będziemy mieli do czynienia z pętlami czy uruchamianiem równoległych wątków.

Różnica w stosunku do takiego klasycznego, rozwiązania jest taka, że pod spodem jest trochę pracy na otwartych formatach – tekście, obrazie. Jest też krytyczne spojrzenie, rewizja i jakaś tam pętla. Ale to nie jest tak, że w Agentic Workflow mamy jakąś autonomię i te przebiegi wyglądają za każdym razem kompletnie inaczej. Zazwyczaj jest to ustalony zestaw narzędzi i kroków, z których każdy ma trochę większą swobodę niż zazwyczaj.

A gdzie się zaczyna, gdzie kończy rola człowieka?

W pierwszym naszym podejściu do Agentic AI stworzyliśmy rozwiązanie, które dostarcza treści. Ale oczywiście w taki sposób, aby mógł być on zrewidowany przez ekspertów marketingowych. Obudowaliśmy zresztą nasze narzędzie w aplikację, w której można było wybrane elementy odświeżać czy ponownie wygenerować, jeżeli przygotowana propozycja użytkownikowi nie pasowała.

Lada chwila jednak, przynajmniej w najbardziej powtarzalnych zadaniach, będzie to się sprowadzało głównie do nadzoru jakościowego, ewentualnie jakiegoś fine tuningu. Choć w opisywanym tu scenariuszu wydaje mi się, że osiągnęliśmy już taki poziom automatyzacji. Potrzebny będzie jedynie okazjonalny nadzór, być może nawet już tylko nad samymi metrykami procesu realizowanego pod spodem przez agenta.

Zapewne przez jakiś czas, w rękach naszego eksperta biznesowego, będzie wciąż znajdował się przycisk „deploy”. Ale myślę, że w perspektywie kilku miesięcy przejdziemy do sytuacji, w której zostanie to w miarę automatyzowane. Będziemy raczej kontrolować i reagować, gdy pogarszać się będą założone metryki kampanii.

Czy na początkowym etapie, wymyślania tematu kampanii, będzie wówczas jeszcze człowiek? Zleci temat kampanii?

Nie. Człowiek będzie raczej przeglądał listę propozycji i wybierał te, które uzna za zasadne. W przyszłości również, im więcej będzie tych pomysłów na kampanie, tym częściej będzie pojawiał się współczynnik wysycenia. Trzeba będzie pewnie podjąć decyzję, co jest ważniejsze, albo do jakiej grupy użytkowników skierować daną kampanię.

W przyszłości do narzędzi Agentic AI w marketingu trzeba będzie zapewne włączyć jakąś analitykę, aby nie „przegrzewać” kanałów komunikacji, nie powodować uczucia zmęczenia użytkownika. Ale wydaje mi się, że w części kreatywnej to w coraz większym stopniu będzie wybieranie spośród propozycji, a nie stricte praca ramię w ramię z agentem AI.

Oczywiście mamy mnóstwo innych procesów kampanijnych, gdzie praca eksperta jest bardzo potrzebna. Mamy w tych obszarach wręcz deficyt umiejętności, które pozwalają na efektywne realizowanie różnych scenariuszy, np. otwieranie współpracy z nowymi markami lub sprzedawcami.

To są dość specyficzne zadania, w których wykorzystanie narzędzi GenAI jest trudniejsze, bo wymaga np. jednorazowego wstrzyknięcia dużej ilości kontekstu. Czasami proces ten trwa dłużej niż praca koncepcyjna konkretnego eksperta.

W jakim kierunku będziecie więc rozwijać te narzędzia?

Jeżeli chodzi o szeroko pojętą agentyzację, to na poziomie Grupy Allegro mamy uruchomione inicjatywy mające na celu maksymalnie szeroki rollout tej technologii. Ale oczywiście z założeniem, tam gdzie jest to zasadne.

Na pewno będziemy eksperymentować w obszarze personalizacji, wprowadzaniu tych funkcji np. do mechanizmów wyszukiwania i rekomendacji. Lada chwila czeka nas duża zmiana, jeżeli chodzi o to, w jaki sposób klienci będą szukali informacji o produktach w internecie. Już teraz widać jak bardzo zmienia się wyszukiwarka Google, który idzie w kierunku ChatGPT czy podsumowań AI.

Oznacza, że my też musimy się przygotować nie tylko na budowanie własnych agentów, które rozwiążą różne problemy biznesowe, ale też na świat, w którym użytkownicy za pomocą innych agentów będą dostawać się do Allegro. Tutaj też jest duża praca do wykonania, jeżeli chodzi o jakość danych. W taki sposób przygotować metadane opisujące nasze oferty, produkty i usługi, aby mieć gwarancję, że maksymalizujemy szansę pojawienia się w zewnętrznych tzw. answer engines.

Na co należy zwrócić uwagę planując wdrożenie agentów AI?

Trzeba pamiętać, że – niezależnie od tego jak dobrego agenta AI uruchomimy – nie poradzi sobie on ze zleconymi mu zadaniami, jeżeli będzie miał: niedostosowane procesy, a także kiepskiej jakości dane i metadane oraz słabą dokumentację. Wtedy nie będzie miał kompletu informacji albo będzie musiał się pewnych informacji domyślać. W związku z tym będzie rosło ryzyko popełnienia przez niego błędu.

Jeżeli mamy proces, w którym agenci AI muszą wykonać 10, jednorazowych operacji i na każdym kroku mamy prawdopodobieństwo sukcesu na poziomie 95%, to w przypadku całego procesu jest już ono na poziomie 60%. A to poziom, na który nie możemy sobie pozwolić.

Sprawa się komplikuje jeszcze bardziej, gdy dochodzi integracja z systemami wewnętrznymi. Bardzo ważna jest tu kwestia jakości danych i procesów. Uważam, że wiele firm w Polsce będzie miało z tym niemały problem. Procesy, w do których chcieliby wpiąć agentów AI powstały 20-30 lat temu w zupełnie innych realiach pod zupełnie inne zastosowania. Jest często pomijany aspekt wdrożenia Agentic AI.

Dużo mówiłeś o dobrym przygotowaniu przed wdrożeniem, o tym jak dbać o jakość danych i ich czyszczenie. Jaką pracę domową powinny wykonać firmy, które chcą wejść w technologię agentów AI?

Pierwsza kwestia to bardzo uczciwa rewizja własnych procesów i danych, które one opisują. Następnie zaś dobieranie potencjalnych scenariuszy przypadków użycia czy priorytetów w oparciu o to, jakiej jakości dane i jak dobrze zamodelowane procesy mamy. Na tym obszarze powinna skupiać się uwaga przy opracowywaniu pierwszych prototypów i Use Case’ów.

Bardzo odświeżającym doświadczeniem jest popróbowanie jak ta technologia działa na co dzień. Budowanie świadomości w organizacji, aby zrozumieć ryzyka i ewentualne problemy. Mamy do czynienia z coraz większą liczbą tego typu funkcji w narzędziach codziennego użytku. Warto popatrzeć jak one działają, funkcjonują i rozumują. Zobaczyć co się dzieje „pod spodem”, zanim dostaniemy odpowiedź czy rekomendację. To bardzo pouczające.

Kolejny stopień wtajemniczenia, to próba – przynajmniej dla osób bardziej technicznych – pobawienia się z budową prostych prototypów tego typu narzędzi. Rozwiązań wspierających kodowanie, budowę prostych aplikacji. W kilka minut jesteśmy dziś w stanie zbudować prostego agenta, który przejmie jakieś zadanie i obserwować w jaki sposób się on zachowuje – czy wnioskuje poprawnie, we właściwy sposób odwołuje się do systemów. Da nam to lepsze zrozumienie tego, jak tego typu technologie używać.

Warto też pamiętać, że często wystarczą prostsze rozwiązania do automatyzacji. Czasem będzie to skrypt, innym razem klasyczny model Machine Learning. Na pewno zalecałbym ostrożność i uważną rewizję, bo bardzo łatwo ulec wrażeniu, że właściwie teraz można już wszystko rozwiązać za pomocą agentów AI.

Jakich kompetencji Agentic AI wymagał od użytkowników tych narzędzi po stronie Allegro?

Jeżeli używamy na co dzień tego typu technologii do innych zadań, nawet prywatnych, to bariera wejścia jest właściwie bliska zera. Zniknęła ona już jakiś czas temu. Z agentem AI – jak z ChatemGPT – też komunikujemy się promptami, językiem naturalnym.

Natomiast wydaje mi się, że ciekawsze jest pytanie, jakich kompetencji potrzebujemy do tego, aby zbudować tego typu rozwiązania. Tu sytuacja się bardziej komplikuje. Potrzebny jest skillset, który jest połączeniem kilku, różnych ról. Z jednej strony oczywiście są to kompetencje inżynierskie na potrzeby tworzenia pierwszych MVP.

Narzędzia generatywne świetnie się sprawdzają w przygotowywaniu szybkich, lekkich prototypów. Zrobić to może zapewne analityk lub Data Scientist, który zna podstawy Pythona. Ale już sznyt inżynierski jest potrzebny do tego, aby zbudować agenta AI i dać mu dostęp do różnych narzędzi.

Potrzebne są również kompetencje związane z analityką, pozwalające na ocenę tego, w jaki sposób agenci AI zachowują się, co działa, a co nie działa, gdzie mamy wąskie gardła w działaniu tych agentów, jak w ogóle poprawiać ich skuteczność. Warto więc myśleć o budowaniu kompetencji związanych z analityką procesów i ich usprawnianiem. To jest kluczowy aspekt jakościowy, który warunkuje dobry performance rozwiązań Agentic AI.

Bardzo ważna jest też gotowość zarządu do eksperymentowania, w tym akceptowania porażek. Akurat w Grupie Allegro nastawienie do innowacji jest można powiedzieć wzorowe. Z zarządu idzie wyraźny komunikat – jak coś nie pójdzie, to trudno. O ile oczywiście zachowamy pod kontrolą wszystkie aspekty prawne i te związane z ochroną danych.

Uznajemy, że to jest element procesu nauki. Mamy bowiem do czynienia z dużo większą nagrodą gdzieś tam, w długim horyzoncie i nie powinniśmy się przejmować drobnymi porażkami. Na pewno nie powinno to nas paraliżować przed wdrażaniem innowacji.