AISay.co, czyli jak AI ułatwia komunikację dzieciom niepotrafiącym mówić

Z Krzysztofem Chibowskim, założycielem i CIO w AISay.co, rozmawiamy o przełomowej na rynku aplikacji, która – przy wykorzystaniu algorytmów AI, uczenia maszynowego i dużych modeli językowych – umożliwia komunikację dzieciom nie posiadającym umiejętności mówienia.

Skąd pomysł na stworzenie aplikacji AISay.co? Kto stoi za tym projektem?

Pomysł zrodził się w trakcie pandemii. Mam syna, który od urodzenia nie mówi. Do komunikacji używa co prawda komunikatora MÓWik na tablecie, a także piktogramów – przypinanych na rzepy obrazków przedstawiające pewne sytuacje – ale właśnie w czasie pandemii, stwierdziłem, że te rozwiązania nie działają tak, jak byśmy tego chcieli. Przykładowo, Maciek musiał poświęcić kilka minut przyklejając odpowiednie piktogramy, aby dać nam znać, że chce mu się pić.

Zacząłem więc zastanawiać się, jak – przy wykorzystaniu przetwarzania języka naturalnego NLP, kilku algorytmów i języka programowania – uprościć ten proces. Jak sprawić, aby jego komunikacja była szybsza. Z pomocą kolegi stworzyłem prototyp takiego systemu. W międzyczasie pandemia się skończyła, wróciliśmy do pracy, ruszył natłok obowiązków i prototyp poszedł do szuflady.

Co sprawiło, że do niego wróciłeś?

Tuż przed wielkim wybuchem popularności AI, poznałem ludzi tworzących ekosystem SpeakLeash. Wszystko zaczęło się od Sebastiana Kondrackiego, można go nawet nazwać Ojcem Chrzestnym AISay. Zespół SpeakLeash to bardzo otwarte grono osób. Chętne do dzielenia się wiedzą i bardzo pomocne. Tam poznałem Izabelę Babis, która w SpeakLeash zajmuje się sprawami formalnymi oraz wspiera strategiczne działania biznesowe. Iza bez wahania dołączyła do projektu AISay.co. Pomaga mi zaplanować biznes od strony formalnej i prawnej.

Następnie, dzięki Izie, poznałem Patryka Kwietnia. To programista z wieloletnim doświadczeniem i dostępem do narzędzi AI oraz umiejętnością budowania rozwiązań z wykorzystaniem różnych algorytmów. Wspólnie w trojkę zaczęliśmy budować koncepcję aplikacji. Wykorzystaliśmy prototyp, o którym już wspominałem.

Wtedy też mocno zaczął się rozwijać cały ekosystem AI. Zyskaliśmy dostęp do HuggingFace itd. Znacznie ułatwiło nam to pracę. Pewne działania mogliśmy robić dużo szybciej, wykorzystując dostępne już algorytmy.

Jaka jest idea i wartość AISay.co?

Główny cel AISay.co to ułatwienie procesu komunikacji. Tworząc tę aplikację chodziło nam o to aby – to, co robi dziecko mające problemy z mówieniem lub jego opiekunowie, aby się skomunikować – wymagało jak najmniej elementów związanych z konfiguracją, wyklikiwaniem czegokolwiek czy przypinaniem na rzepy piktogramów. Zwłaszcza że tych ostatnich jest kilkadziesiąt tysięcy i są podzielone na setki kategorii. Dziecko musi „przebijać się” przez kolejne kategorie, aby znaleźć dane słowo, którego chce użyć. To trudne i czasochłonne.

Dlatego AISay.co to – działający w czasie rzeczywistym – asystent głosowy, którego „twarzą” jest żółw Oskar. Można go zainstalować na telefonie czy tablecie. Oskar nie tylko słyszy to co mówię do syna, ale też interpretuje kontekst w jakim się znajdujemy.

Jak to się dzieje?

W rozwiązaniu tym używamy siatki algorytmów, np. związanych z czasem czy miejscem, które odpowiadają za pewną grupę kategorii do wykorzystania w konkretnej sytuacji. Przykładowo w domu, przy śniadaniu czy podczas pobytu w szkole. Wykorzystujemy też duże i małe modele językowe – on premise i online – aby przeprowadzić korelację przyczynowo-skutkową oraz analizę kontekstu i sentymentów. Dzięki temu Oskar wie też, że w danym momencie dziecko jest np. z jakiegoś powodu zdenerwowane.

Analizujemy nie tylko głos, ale również obraz wideo. Na podstawie zebranych w ten sposób różnych elementów środowiskowych, rozwiązanie generuje piktogramy, które są wyświetlane na ekranie smartfona bądź tabletu. Aplikacja pokazuje maksymalnie 8 piktogramów na smartfonie. Na tablecie można ich wyświetlić oczywiście więcej.

Istotne jest również to, że AISay.co dostosowuje się do gramatyki i wymowy końcówek wyrazów, aby nie przedstawiać słów w bezokoliczniku. Bardzo ważne jest bowiem, aby generować w głowie dziecka myślenie w języku naturalnym. Krytycznym założeniem przy tworzeniu aplikacji było to, by pomagała, a na pewno nie szkodziła dziecku.

AISay.co – podobnie jak model Bielik opracowany przez wspomniany SpeakLeash – uwzględnia polski kontekst językowy i środowiskowy. Aplikacja dostosowana jest więc w tej chwili głównie do języka polskiego, ale pracujemy również nad jej wykorzystaniem w innych językach.

Czy działanie aplikacji było konsultowane z lekarzami, terapeutami i naukowcami?

Konsultowaliśmy i wciąż konsultujemy się z ekspertami lingwistyki, logopedii i neurologopedii. Ale zanim do tego doszło zbudowaliśmy kolejny prototyp, aby móc im pokazać jak można zautomatyzować ten proces. Konsultacje z instytucjami naukowymi mają na celu nie tylko przedstawienie koncepcji rozwiązania, ale także dostosowanie jej do potrzeb osób niemówiących.

Obecnie jesteśmy na etapie kolejnych konsultacji z UMCS w Lublinie, Uniwersytetem Gdańskim i Uniwersytetem Komisji Edukacji Narodowej w Krakowie. Dwie z tych uczelni chcą prowadzić z nami długofalowe, wieloletnie badania dotyczące wpływu AI na intelektualny rozwój dzieci z niepełnosprawnością intelektualną.

Chcemy, aby silnik aplikacji był dodatkowo doposażony w moduły funkcjonalne. Będziemy mogli je wtedy omawiać niezależnie z poszczególnymi jednostkami naukowymi, specjalizującymi się w wybranych dziedzinach – psychologii, komunikacji, logopedii, piktogramach itd. W ten sposób zapewnimy też dalszy, elastyczny rozwój aplikacji.

Czy aplikacja była już testowana?

Pierwszym testerem był oczywiście mój syn Maciek. Obecnie trwa natomiast próba, do której zgłosiło się pięcioro rodziców dzieci niemówiących, którzy przez kilka miesięcy będą testowali to rozwiązanie w życiu codziennym.

Wykonaliśmy połączenie sieciowe aplikacji dla tych pięciu użytkowników, więc jeśli jeden z rodziców na swoim panelu doda konkretny piktogram, to automatycznie przesyłany jest on do innych użytkowników. Uważam, że nie ma sensu zamieszczać w aplikacji dziesiątek tysięcy piktogramów, z których wiele nie zostanie w ogóle użytych.

Założenie jest takie, żeby sieć urosła naturalnie, na podstawie tych piktogramów, które są faktycznie używane. Stworzymy wtedy panel statystyczny, który pomoże nam określić jakie aspekty są szczególnie ważne dla danego dziecka. Dzięki temu będzie można np. zidentyfikować jego pasje i zainteresowania.

Co istotne, aplikacja wykorzystuje istniejące bazy piktogramów. Nie tworzymy kolejnych.  Takie było bowiem wskazanie ekspertów. To rozwiązanie ma być jak najbardziej praktyczne, więc zakładamy, że kolejne funkcjonalności aplikacji będą wybierali właśnie sami rodzice. Jest też opcja dodawania własnych obrazów (osobistych) np. członków rodziny.

Jakie funkcjonalności masz na myśli?

Pracujemy m.in. nad tym, aby użytkownicy mogli dodawać samodzielnie kolejne piktogramy. Będziemy także dostosowywać ich wygląd do różnych schorzeń. Okazuje się bowiem, że np. dzieci niemówiące, a będące w spektrum autyzmu, reagują na określone kolory tła. Bardzo ważne są też obramówki piktogramów. Nie powinny mieć np. ostrych kątów.

Pewnymi elementami będzie można sterować głosem. Chcemy też maksymalnie wykorzystać możliwości AI, np. do konfigurowania czy raportowania.

Dla dzieci z jakimi zaburzeniami może być przeznaczona aplikacja?

AISay.co jest obecnie testowana przez dziecko z porażeniem mózgowym, dziecko z niepełnosprawnością intelektualną i dzieci z autyzmem. Docelowo chcemy przeznaczyć to rozwiązanie także dla dorosłych, którzy mają stałe lub przejściowe problemy z mówieniem. Będą to np. pacjenci po udarze czy osoby chore na Alzheimera.

Rozumiem, że jest to rozwiązanie, które może być wykorzystywane również przez terapeutów?

Oczywiście. Mało tego, chcemy udostępniać aplikację centrom terapeutycznym bezpłatnie. Dzięki niej terapeuci będą mogli przeprowadzać z dziećmi różnego rodzaju ćwiczenia. Przy jej pomocy będzie można także wyciągać podstawowe wnioski dotyczące dalszego sprawdzania stopnia niepełnosprawności dziecka. Aplikację będzie też można wykorzystywać w szkole.

Czy mógłbyś jeszcze przybliżyć techniczną stronę AISay.co? W jaki sposób zaprojektowaliście silnik sztucznej inteligencji? Jakie algorytmy wykorzystaliście?

Nie mogę zdradzić zbyt wiele. Powiem jedynie, że wykorzystujemy siatkę 5 algorytmów, połączoną z wieloagentowym silnikiem korzystającym z GenAI, aby analizować tekst, sentymenty czy kontekst. Wykorzystujemy także klasyczny Machine Learning.

Można powiedzieć, że każde zdanie wypowiadane przez rodzica czy terapeutę, które trafia do aplikacji, przechodzi przez małą fabrykę AI – od rozbijania na kawałki, poprzez generowanie na tokeny, po zderzenia z piktogramami.

Czyli jest to architektura bardziej skomplikowana niż Transformer?

Tak. W LLM-ach generowana jest wyłącznie odpowiedź na pytanie. Nasza aplikacja nie udziela odpowiedzi tylko dokonuje pewnej kategoryzacji. W zależności od tego co powiedział rodzic czy terapeuta, a także w zależności od miejsca i czasu, pojawia się dopiero odpowiedni piktogram. Przy pomocy AI analizujemy tekst, sentymenty, frazy, złożoność, czas itd.

Nie macie jeszcze finansowania – czy szukacie go aktywnie? Jakie środki finansowe są potrzebne na rozwój tej aplikacji?

Póki co wszystko finansujemy z własnych środków.

Chcieliśmy, aby był to projekt prospołeczny i początkowo mieliśmy nawet koncepcję, że aplikacja będzie bezpłatna. Z punktu widzenia biznesowego nie jest to jednak możliwe. Musimy osiągnąć pewien etap stabilności, który wykaże przychody, liczbę klientów itd. Cały czas zastanawiamy się jak to rozwiązać i opracować model, który będzie mógł być zaakceptowany przez potencjalnego inwestora. Jesteśmy też na etapie dokładnego oszacowania potrzebnych środków.

Jeśli chodzi o rodzaj finansowania, to rozpatrujemy venture capital, który jest dość restrykcyjny, ale nie niemożliwy. Są też akceleratory. Myślimy np. o SWPS gdzie – poprzez PFR – prowadzone są inicjatywy typu PFRON.

Istotne jest to, że ewentualnie zdobyte finansowanie będzie przeznaczone nie tylko na realizację pomysłu, a na skalowanie, badania, marketing czy opatentowanie rozwiązania. Zwłaszcza ta ostatnia kwestia jest szczególnie kosztowna.

Generalnie uważamy, że krytyczne jest osiągnięcie odpowiedniej dojrzałości naszej aplikacji poprzez jak najszybsze testy w grupie Friends and Family. Test rozpoczną się jeszcze w styczniu.

Zamierzacie w ogóle zarabiać na tej aplikacji?

Idea jest taka, aby rodzice dzieci mających tego typu problemy nie musieli płacić za dostęp do naszego rozwiązania. A jeśli nawet, to by była to kwota naprawdę symboliczna, np. tyle ile kosztuje hamburger. Przedstawiciele funduszy venture capital twierdzą bowiem, że aplikacja nie może być bezpłatna – biznes tak po prostu nie działa. Liczę natomiast na to, że nawet jeśli dostęp do AISay.co miałaby kosztować więcej niż wspomniany hamburger, to uda nam się zdobyć dofinansowanie z funduszy typ PFRON, aby dzięki temu jak najbardziej zminimalizować te opłaty.

Czy na rynku są już podobne rozwiązania?

Globalnie jest kilka dużych, płatnych aplikacji zbudowanych wokół systemu Augmentative Alternative Communication AAC mającego wspierać dzieci niemówiące przy pomocy piktogramów. Żadna z nich nie wykorzystuje sztucznej inteligencji. Żadna z nich nie jest sterowana głosem. Żadna też nie bada kontekstu w czasie rzeczywistym.

Potwierdzają to też naukowcy i specjaliści zajmujący się zawodowo od kilkudziesięciu lat dziećmi z takimi ograniczeniami. Poza tym narzędzia, które już są na rynku, nie były nigdy konsultowane naukowo.

Kiedy zamierzacie wyjść z tą aplikacją na rynek?

Gdybym miał trzech programistów a nie jednego – który pracuje wyłącznie po godzinach – aplikacja byłaby już wdrożona (śmiech). Myślę, że uda się to w 2025 roku.

Przed wdrożeniem musimy jeszcze pomyśleć o kwestii architektury IT. Obecnie wykorzystujemy infrastrukturę budowaną w oparciu o chmurę publiczną, ale mamy świadomość, że aplikacja będzie zawierała dane poufne.

W związku z tym musimy zapewnić suwerenność i niezależność przechowywania danych naszych użytkowników. Przygotujemy to tak, żeby komunikacja wspólna odbywała się w chmurze publicznej i by z każdego miejsca można było mieć dostęp, a dane związane z RODO będą przetrzymywane w miejscu zabezpieczonym.

Najważniejszy aspekt to jednak zakończenie testów funkcjonalnych.

Jakie są Wasze plany na najbliższą przyszłość?

Chcemy, aby przy pomocy aplikacji można było w pewnym stopniu zaplanować dzień i podstawowe czynności – np. rano Oscar będzie przypominał o myciu zębów, a po południu o tym, że trzeba odrobić lekcje. Planujemy też, aby aplikacja była pomocna np. podczas samodzielnych zakupów w sklepie.

Myślimy także o tym, jak zapewnić interakcję w drugą stronę, aby to dziecko samo coś zainicjowało. Chciałbym bowiem odwrócić ten paradygmat. Jeśli dziecko jest w pewnej relacji z kimś, to dlaczego nie spróbować rozbić tej odpowiedzialności komunikacji na dwie osoby. Nie jest ważne jak to osiągnie – samo coś kliknie czy pomoże mu w tym ta druga osoba. Najważniejsze jest osiągnięcie celu.

Poza tym będziemy na pewno współpracować z Akademickim Centrum Komputerowym Cyfronet AGH, społecznością SpeakLeash oraz twórcami Bielika. Czekamy aż Bielik będzie dostępny po API. Model ten pomoże w zrozumieniu podstawowych regionalizmów czy też gwary, w sytuacji, gdy rodzice wybiorą się z takim dzieckiem np. na Kaszuby.

Będziemy wykorzystywać różne modele językowe. Pamiętając oczywiście o tym, że są to tylko środki do osiągnięcia celu. LLM-y nie są bowiem rozwiązaniem samym w sobie. Ale jeśli masz plan i wiesz co chcesz osiągnąć, to zawsze znajdziesz narzędzia, które do tego potrzebujesz. Dzięki AI możliwości są nieograniczone.

A plany długoterminowe?

Jeśli uzyskamy dofinansowanie, to zajmiemy się przygotowywaniem rozwiązania pod inne języki. Dbając oczywiście o konteksty charakterystyczne dla danego kraju.

Mamy też kilka pomysłów na stworzenie modułów niezwiązanych bezpośrednio z samą aplikacją AISay.co, a będących niejako obok niej. Chodzi m.in. o kształtowanie funkcji poznawczych czy wykonywanie pewnego zestawu ćwiczeń z dzieckiem w zależności od schorzenia, które u niego występuje.

Pomysłów na takie dodatkowe moduły jest sporo, możliwości rozwoju też. Będzie ciekawie.