Mechanizmy pamięci, które mają personalizować działanie sztucznej inteligencji, mogą jednocześnie obniżać jakość odpowiedzi i wzmacniać błędne przekonania użytkowników. Takie wnioski płyną z badań firmy Writer, według których im więcej modele AI „pamiętają” o swoich użytkownikach, tym częściej przedkładają zgodność z ich preferencjami nad faktyczną poprawność odpowiedzi.
Jednym z największych atutów współczesnych systemów AI jest zdolność do personalizacji. Asystenci wykorzystują informacje o wcześniejszych interakcjach, aby lepiej rozumieć potrzeby użytkowników i dostosowywać do nich swoje odpowiedzi. Nowe badania sugerują jednak, że taka pamięć może mieć również negatywne skutki.
Naukowcy z firmy Writer opublikowali dwa opracowania pokazujące, że popularne mechanizmy pamięci stosowane w modelach językowych mogą prowadzić do pogorszenia jakości odpowiedzi. Zdaniem autorów, problem pojawia się wtedy, gdy zapisane preferencje użytkownika zaczynają wpływać na odpowiedzi w sytuacjach, w których nie mają znaczenia.
„Z każdym dodatkowym przechowywaniem i odzyskiwaniem preferencji użytkownika narażasz się na coraz większe ryzyko” – powiedział Dan Bikel, szef działu AI w Writer, cytowany przez portal TechCrunch.
Pamięć AI może wzmacniać błędne przekonania
W jednym z eksperymentów badacze poinformowali model, że ulubioną książką użytkownika jest „Stacja Jedenasta”, a następnie poprosili o wskazanie popularnej dystopijnej powieści. Systemy znacznie częściej wskazywały właśnie ten tytuł, mimo że pytanie nie było związane z preferencjami użytkownika. Efekt stawał się jeszcze silniejszy po zastosowaniu narzędzi do kompresji pamięci, takich jak Mem0 czy Zep.
Autorzy raportu zwracają uwagę, że systemy pamięci mają trudności z odróżnianiem istotnych informacji od nieistotnego kontekstu. W rezultacie mogą ograniczać różnorodność odpowiedzi, osłabiać kreatywność modeli i wprowadzać niezamierzone uprzedzenia.
Drugi eksperyment dotyczył analizy finansowej przedsiębiorstw. Badacze celowo przekazywali modelom błędne założenia dotyczące działalności firmy, a następnie prosili o ocenę jej wyników. Okazało się, że wraz ze wzrostem ilości zapamiętanego kontekstu trafność analiz spadała. Modele coraz częściej dostosowywały odpowiedzi do wcześniejszych opinii użytkownika zamiast opierać się na dostępnych danych.
Według autorów badań, bez mechanizmów personalizacji modele poprawnie identyfikowały problemy analizowanych firm. Po aktywowaniu pamięci były jednak bardziej skłonne potwierdzać wcześniejsze założenia użytkownika, nawet jeśli były one błędne.
Badanie nie obejmowało najnowszego modelu Claude Opus 4.8 firmy Anthropic, który został zaprojektowany z myślą o ograniczaniu tego typu zjawisk. Wyniki wskazują jednak, że problem może dotyczyć wielu popularnych modeli językowych. Zdaniem badaczy pokazuje to, jak trudne jest zachowanie równowagi między personalizacją a rzetelnością odpowiedzi generowanych przez sztuczną inteligencję.
