Systematycznie przybywa scenariuszy wykorzystania rozszerzonej rzeczywistości Augmented Reality (AR). Rozwiązania te wspierają dziś nie tylko kierowców, pilotów czy żołnierzy, lecz także serwisantów, projektantów i handlowców. Ciekawym sposobem na użycie technologii AR jest też zapewnienie wsparcia dla kadry zarządzającej. Pokazują to wnioski z projektu „Prace badawczo-rozwojowe nad wykorzystaniem rzeczywistości hybrydowej w aplikacji do zarządzania przedsiębiorstwem” realizowanego przez Predica.
Augmented Reality to koncepcja, która zakłada rozszerzenie percepcji otaczającego nas świata o dodatkowe informacje powiązane kontekstowo i w czasie rzeczywistym z wykonywanymi w danej chwili czynnościami. Fundamentem większości istniejących implementacji tej koncepcji są środki komunikacji wzrokowej.
Dwa słowa o rozwoju technologii Augmented Reality
Dostępne urządzenia, w tym półprzezroczyste płytki lub okulary, pozwalają na dostarczanie użytkownikom dodatkowych informacji, np. podczas prowadzenia pojazdów lub wykonywania operacji serwisowych. Co ważne, rozwiązania oparte na koncepcji rozszerzonej rzeczywistości nie ograniczają się jedynie do wyświetlania informacji. Zapewniają również możliwość interakcji z otaczającym światem dzięki dostępowi do dodatkowych informacji.
Warto dodać, że koncepcja rozszerzonej rzeczywistości ma już niemal 60 lat. Za pierwszą jej implementację uznaje się nagłowny wyświetlacz opracowany przez Ivana Sutherlanda i Boba Sproulla w 1964 roku. Urządzenie – w formie zbliżonej do dzisiejszych okularów – było jednak zbyt ciężkie, aby zapewniać jakąkolwiek mobilność, i musiało być powieszone do sufitu (bit.ly/45nJ3oJ). Co ciekawe, określenia Augmented Reality po raz pierwszy użył Tom Caudell, inżynier firmy Boeing dopiero w 1990 roku (bit.ly/44AGtKR). Rozwój technologii AR – a co za tym idzie możliwości jej zastosowania – przyspieszył dekadę temu.
Augmented Reality jako technologia jest dziś dużo bardziej rozpowszechniona, niż mogłoby się to wydawać. Dedykowane platformy, takie jak Microsoft HoloLens czy Quest Pro, są wykorzystywane coraz częściej w wielu pionierskich inicjatywach, np. handlu detalicznym czy w pracy w terenie.
Ponadto stosunkowo proste implementacje AR są dostępne bezpośrednio z poziomu dzisiejszych smartfonów. Przybywa aplikacji pozwalających na wyświetlanie kontekstowych informacji w sposób dopasowany do obrazu rejestrowanego przez wbudowany w urządzenie aparat. Przykładem może być choćby aplikacja wyświetlająca podobne produkty do towaru aktualnie „obserwowanego” przez użytkownika poprzez smartfon bądź rozwiązania pomagające poruszać się po mieście i dostarczające informacji na temat mijanych budynków lub lokalizacji. Tym samym, możliwe stają się nowe scenariusze użycia takich urządzeń w różnych obszarach życia.
Rozwiązania VR/AR kojarzone są z branżą gier wideo, ale np. w przedsiębiorstwach przemysłowych ułatwiają wizualizację budowy lub problemów w obszarze linii produkcyjnych. Jednocześnie mogą być użyte praktycznie w każdej firmie na potrzeby wsparcia wizualizacji danych, co było przedmiotem naszego projektu R&D.
Paweł Ekk-Cierniakowski, Data Science Practice Lead w Predica
Wsparcie procesów biznesowych rozwiązaniami rozszerzonej rzeczywistości
Warto jednak zastanowić się nad możliwościami użycia rozwiązań rozszerzonej rzeczywistości jako narzędzi pozwalających poprawić funkcjonowanie konkretnych procesów biznesowych, w szczególności z perspektywy osoby zarządzającej organizacją lub konkretnym jej obszarem.
Przyjrzyjmy się możliwemu podejściu, zaletom oraz potencjalnym wyzwaniom towarzyszącym wdrażaniu rozszerzonej rzeczywistości pod kątem pracy menedżerów. Zebrane informacje pochodzą z – przeprowadzonych przez zespół Predica – prac badawczych w zakresie stworzenia biznesowego zastosowania dla rozszerzonej rzeczywistości w ramach platformy Microsoft HoloLens.
Dotąd liczba wdrożeń biznesowych rozwiązań AR pozostawała dość ograniczona. Co zatem zmieniło się w ostatnich latach? „Przede wszystkim, możliwości wykorzystania potencjału koncepcji Augmented Reality znacząco wzrosły wskutek zwiększenia mocy obliczeniowej dostępnych dziś urządzeń mobilnych. Istotnym czynnikiem okazało się też wydłużenie czasu pracy takich urządzeń, dzięki zwiększeniu ich energooszczędności. Nie bez znaczenia był też szybki rozwój infrastruktury pozwalającej na szybką, bezprzewodową i dwukierunkową transmisję danych, a także postęp w zakresie technologii rejestrowania i wyświetlania obrazu, który umożliwił powstanie platform technologicznych dostępnych w sposób masowy” – wskazuje Paweł Ekk-Cierniakowski, Data Science Practice Lead w firmie Predica.
Możemy wyróżnić dwa główne podejścia do wdrażania rozszerzonej rzeczywistości:
- Wykorzystanie dedykowanych, wyspecjalizowanych urządzeń oferujących pełną platformę aplikacyjną i sprzętową wraz ze zintegrowanymi systemami kamer i sensorów, a także wyświetlaczy pozwalających na rozszerzenie pola widzenia.
- Użycie powszechnie dostępnych, masowych urządzeń, za pośrednictwem których użytkownik może doświadczyć rozszerzonej rzeczywistości poprzez tradycyjny ekran.
Oba te podejścia mają zalety i wady. I tak, użycie telefonu komórkowego – wraz z narzędziami wbudowanymi w najpopularniejsze dziś mobilne systemy operacyjne, takimi jak ARKit dla środowisk Apple, czy ArCore dla systemów Android – pozwala na powszechne wykorzystanie technologii AR. Jednak nie dostarcza w pełni możliwości rozszerzonej rzeczywistości. Z kolei zastosowanie wyspecjalizowanych urządzeń, jak HoloLens, wiąże się z większymi nakładami. Wielu firmom ogranicza to potencjalną skalę użycia. Co istotne, tego typu dedykowane rozwiązania zapewniają znacznie szersze możliwości.
Główne wnioski z projektu badawczego firmy Predica:
- Urządzenia AR stanowią dobrą platformę do budowania osadzonych w rzeczywistości aplikacji zapewniających dodatkowy kontekst danych.
- Większość logiki takich aplikacji i analityki danych należy uruchamiać w ramach środowisk zewnętrznych.
- Integracja urządzenia z sensorami pozwala na łatwą identyfikację miejsc, osób oraz pozyskanie informacji o otoczeniu.
- Wyzwaniem pozostaje interakcja z interfejsem oraz całość zagadnienia UX dla aplikacji.
- Powiązanie aplikacji AR/MR z możliwościami modeli AI, LLM typu GPT-4 pozwala na budowanie aplikacji z interakcją przeniesioną na poziom interfejsu języka naturalnego.
Coraz łatwiej o dedykowane urządzenia AR
Wyspecjalizowane, dostępne komercyjnie platformy sprzętowo-aplikacyjne przeznaczone dla rozszerzonej rzeczywistości można obecnie podzielić na dwie grupy:
1. Rozwiązania dostarczające pełną obsługę wirtualnej rzeczywistości z możliwością dostępu do rozszerzonego widoku, np. Meta Quest.
2. Urządzenia zbudowane z myślą o rozszerzonej rzeczywistości, jak Microsoft HoloLens, czy przeznaczone do zastosowań biznesowych, jak Google Glass Enterprise.
Obie te grupy rozwiązań deklasują możliwościami wspomniane wcześniej platformy masowe, w tym smartfony. Lepszym wyborem do biznesowych zastosowań rozszerzonej rzeczywistości są rozwiązania wyspecjalizowane. Ich dostępność także stale rośnie. Stają się również coraz bardziej przystępne cenowo. Za wyborem takich urządzeń przemawia też rozwój oprogramowania dedykowanego zastosowaniom rozszerzonej rzeczywistości, które jest rozwijane przede wszystkim pod kątem wyspecjalizowanych platform.
Co więcej, platformy te osiągnęły etap rozwoju, na którym mogą być używane w sposób samodzielny (bez komputera lub innego urządzenia), zapewniają nieprzerwane korzystanie nawet przez kilka godzin, wysoką jakość obrazu, a także rozbudowane funkcje komunikacyjne. Możliwości dedykowanych urządzeń uzupełnia też coraz bardziej rozbudowane zaplecze aplikacyjne, rozwijane pod kątem specyficznych zastosowań, ale także metodyk poszczególnych platform.
„Rozwiązania z obszaru wirtualnej i rozszerzonej rzeczywistości są kojarzone w szczególności z branżą gier wideo, ale mają również szerokie zastosowanie w innych branżach. Przykładowo, w obszarze projektowania wnętrz pozwalają łatwiej zobrazować docelowy wygląd pomieszczenia. Z kolei w przedsiębiorstwach przemysłowych ułatwiają m.in. wizualizację budowy lub problemów w obszarze linii produkcyjnych. Jednocześnie, rozszerzona wirtualność może być użyta praktycznie w każdej firmie na potrzeby wsparcia wizualizacji danych, co było przedmiotem omawianego projektu R&D” – mówi Paweł Ekk-Cierniakowski.
Prawdziwą zmianą sposobu działania narzędzi wykorzystujących rzeczywistość rozszerzoną jest możliwość powiązania orientacji urządzenia w przestrzeni rzeczywistej z mechanizmami rozpoznawania obrazu na potrzeby dopasowania zakresu prezentowanych informacji do kontekstu otoczenia i wykonywanych operacji.
Wsparcie w realizacji wykonywanych w danym momencie zadań
Faktem jest, że np. dla osoby zarządzającej wieloma projektami czy zespołami, zmiana kontekstu – rozumiana jako przełączenie się na inne zadanie, orientację w nim, przemyślenie dostępnych kolejnych kroków i podjęcie konkretnych działań – jest czasochłonna. Z kolei brak szybkiego dostępu do odpowiedniej jakości danych, przefiltrowanych we właściwym kontekście, może powodować m.in. błędne decyzje w zakresie priorytetu zadań. Czy zatem platforma rozszerzonej – bądź mieszanej rzeczywistości (Mixed Reality) – może pozwolić na wprowadzenie nowej jakości pracy kadry menedżerskiej?
Praktyka pokazuje, że rozszerzona rzeczywistość zapewnia unikalne możliwości m.in. w zakresie dostarczenia użytkownikom dodatkowych informacji lub podpowiedzi wspierających realizację wykonywanych w danym momencie zadań. Kluczowe znaczenie ma tu kontekstowy charakter działania. Rozwiązania oparte na koncepcji AR w zdecydowanie mniejszym stopniu rozpraszają uwagę użytkownika, dostarczając informacji niejako w sposób równoległy do jego toku myślowego.
Na całościowe rozwiązanie, niezbędne do udostępnienia – opartych na AR – narzędzi dla kadry zarządzającej, składać powinna się m.in. platforma sprzętowa, oprogramowanie zapewniające integrację danych oraz ich przetwarzanie, w tym przy użyciu algorytmów uczenia maszynowego i sztucznej inteligencji, a także dostosowany do specyfiki pracy i możliwości platformy interfejs użytkownika.
Cel: Augmented Reality wspierające pracę menedżerów
Uruchomiony w 2017 roku projekt badawczy realizowany przez firmę Predica miał na celu zweryfikowanie, czy środowisko rozszerzonej rzeczywistości faktycznie może zostać użyte do zbudowania rozwiązania wspomagającego pracę menedżerów, w tym przełączenie kontekstu i zarządzanie zadaniami w realnym środowisku biznesowym.
Istotą prac było opracowanie interfejsu użytkownika rozszerzającego pole widzenia o kontekstowe wskaźniki i inne, przydatne informacje oraz jego testy. Projekt realizowany przy finansowaniu z Europejskiego Funduszu Rozwoju Regionalnego zakładał wykorzystanie m.in. platformy Microsoft HoloLens. Zadecydowano również o wykorzystaniu różnych źródeł danych, w tym aplikacji takich jak FreshDesk i ZenDesk.
Ze względu na specyfikę dostępnych dziś platform AR/VR – a konkretnie ich ograniczoną moc obliczeniową, w dużej mierze stosowaną do przetwarzania danych z wbudowanych czujników oraz generowania obrazu – zadecydowano o wykorzystaniu modelu publicznej chmury obliczeniowej na potrzeby obsługi aplikacji, a także analizy i przetwarzania danych z użyciem sztucznej inteligencji.
Umieszczenie głównej aplikacji w środowisku publicznej chmury obliczeniowej pozwoliło jednocześnie na zastosowanie jej pełnych możliwości w zakresie analityki danych czy przetwarzania poleceń użytkownika wydanych w języku naturalnym na kwerendy danych lub akcje w interfejsie użytkownika.
Budowa autorskich rozwiązań aplikacyjnych i własnych metod ich obsługi
Brak jednolitych standardów wymagał m.in. opracowania autorskich rozwiązań aplikacyjnych, w tym opracowania własnych metod obsługi aplikacji przy użyciu języka naturalnego oraz ruchów rejestrowanych za pośrednictwem odpowiednich czujników. Niezbędne było więc m.in. zaprojektowanie ścieżek użytkownika pomiędzy poszczególnymi elementami aplikacji, punktów interakcji i warstwy prezentacji danych. Co ważne, w kontekście warstwy obsługi wykorzystano duże modele językowe (LLM) na potrzeby obsługi języka naturalnego.
Prawdziwą zmianą sposobu działania narzędzi wykorzystujących rzeczywistość rozszerzoną jest możliwość powiązania orientacji urządzenia w przestrzeni rzeczywistej z mechanizmami rozpoznawania obrazu w celu dopasowania zakresu prezentowanych informacji do kontekstu otoczenia i operacji wykonywanych przez użytkownika. Przykładowo, dzięki możliwości osadzenia urządzenia w przestrzeni, użytkownik wchodzący do pokoju lub hali produkcyjnej może natychmiastowo mieć do dyspozycji dane dotyczące realizowanych tam procesów. Podobnie, w przypadku spojrzenia na konkretne urządzenie.
Rozszerzona rzeczywistość w praktyce biznesowej
Rozwiązanie opracowane na potrzeby projektu Predica interpretuje – dostępny za sprawą danych z czujników – kontekst otoczenia oraz identyfikuje użytkownika poprzez rozpoznanie obrazu z kamery. W kolejnym kroku, dysponując bieżącym kontekstem oraz rolą użytkownika, pobiera dane z powiązanych systemów źródłowych, zapewniając m.in. identyfikację zadań przypisanych do konkretnego użytkownika, aktualnego kontekstu oraz monitorowanie wskaźników kluczowych w kontekście danego zespołu.
Całość interakcji pomiędzy aplikacją a użytkownikami realizowana jest w ramach natywnego interfejsu rozszerzonej rzeczywistości zapewnionego przez Microsoft HoloLens, z dodatkowymi funkcjami obsługiwanymi za pomocą gestów. Pilotażowy projekt pokazał, że tego typu funkcjonalność pozwala osobom decyzyjnym m.in. łatwo oceniać obciążenie pracą w zespole i efektywność procesów, a także zarządzać zadaniami poszczególnych osób.
Wnioski z badań przeprowadzonych przez firmę Predica sugerują, że – wraz z postępami w obszarze standaryzacji oraz rozwoju technologii wpływającymi na uproszczenie budowy warstwy obsługi i ograniczenie kosztów sprzętu – rozwiązania oparte na koncepcji Augmented Reality znajdą wiele nowych zastosowań biznesowych. Wśród potencjalnych obszarów ich użycia wymienić można m.in. pracę biurową i zespołową, czy zadania towarzyszące postępującej operacjonalizacji danych.
Jednocześnie, rozwój technologii z zakresu uczenia maszynowego i sztucznej inteligencji zapewni lepszą i prostszą interakcję użytkowników ze środowiskami AR. Potencjalnie pozwoli to na zwiększenie skali ich zastosowania.
Projekt „Prace badawczo-rozwojowe nad wykorzystaniem rzeczywistości hybrydowej w aplikacji do zarządzania przedsiębiorstwem” realizowany przez firmę Predica był współfinansowany z Europejskiego Funduszu Rozwoju Regionalnego przez Mazowiecką Jednostkę Wdrażania Projektów Unijnych w ramach Regionalnego Programu Operacyjnego Województwa Mazowieckiego na lata 2014–2020, działalność badawczo-rozwojowa przedsiębiorstwa.
