OnstageAI – Sztuczna inteligencja przybliża muzykę klasyczną szerszej publiczności

Polski startup technologiczny stworzył rozwiązanie, które przy użyciu sztucznej inteligencji i platformy chmurowej Amazon Web Services (AWS) automatyzuje produkcję wideo koncertów muzyki klasycznej. Z oprogramowania OnstageAI korzystały już czołowe międzynarodowe festiwale muzyki klasycznej, a spółka nawiązała niedawno partnerstwa z ważnymi instytucjami muzycznymi w USA – Curtis Institute of Music w Filadelfii oraz Louisville Orchestra.

Sektor kultury był jedną z tych gałęzi gospodarki, dla których pandemia stała się szczególnym doświadczeniem krytycznym. Lockdown boleśnie dotknął wszystkie instytucje kulturalne na całym świecie: kina, teatry, opery, sale koncertowe, galerie oraz muzea. Wiele z nich musiało przejść do internetu, aby utrzymać zaangażowanie widzów i zaspokoić rosnące zapotrzebowanie na treści kulturalne. To sprawiło, że na popularności zyskały transmisje na żywo oraz produkcja wideo. Wyzwaniem stały się jednak związane z nimi wysokie koszty – z tego właśnie powodu wiele orkiestr nie nagrywa w ogóle swoich koncertów – oraz przeszkody operacyjne. Naprzeciw takim utrudnieniom stanął startup OnstageAI.

Spółka ta współpracowała już z branżą muzyki klasycznej od 2017 roku, rozwijając m.in. aplikację marketplace, w której można było znaleźć wszystkie wydarzenia związane z tym gatunkiem i operą, czy aplikację mobilną pozwalającą na wybór podglądu z danej kamery w sali koncertowej, aby oglądać szczegóły, które dla danego widza są ważne.

Podczas pandemii przedstawiciele OnstageAI zwrócili uwagę na zmianę w potrzebach branży muzycznej, a przede wszystkim na rosnące znaczenie posiadania kanałów cyfrowych. Nawiązali więc współpracę ze spółką badawczo-rozwojową QED Software, specjalizującą się w dziedzinie sztucznej inteligencji i analizy danych, a także z firmą Altkom Software & Consulting, aby wspólnie zaprojektować rozwiązanie Software as a Service do zautomatyzowanej produkcji wideo na żywo z wykorzystaniem AI.

Jak działa OnstageAI?

Algorytm OnstageAI rozumie dźwięk na żywo, śledzi wykonywany utwór w czasie rzeczywistym i na podstawie tych danych w pełni kontroluje ruch kamer filmujących wydarzenie. Zatem połączenie algorytmu z kamerami umożliwia pełne zautomatyzowanie procesu produkcyjnego. Ponadto sztuczna inteligencja oraz uczenie maszynowe umożliwiają oprogramowaniu zrozumienie każdego utworu, niezależnie od tempa jego wykonania. Przechwycone w ten sposób nagranie trafia bezpośrednio do bezpiecznej chmury Amazon Web Services (AWS) w postaci dwóch produktów: w pełni wyreżyserowanego i zmiksowanego pliku wideo gotowego do użycia oraz surowych nagrań z każdej kamery w jakości 4K.

Dodatkowo nagranie może być również transmitowane na żywo, według uznania organizatora koncertu. Jeśli chce on je spersonalizować i zmienić kierunek artystyczny przed rozpoczęciem koncertu, może to zrobić samodzielnie, wybierając momenty, które uważa za ważne (np. ujęcia poszczególnych muzyków). W ten sposób producenci koncertów mają pełną kontrolę nad tym, co widzą ich cyfrowi odbiorcy.

„Nasze oprogramowanie umożliwia w pełni automatyczną i profesjonalną produkcję wideo przy zachowaniu najwyższych standardów branży muzyki klasycznej. Chmura AWS pozwala nam mieć pewność, że duże ilości danych przechwyconych z koncertów na żywo są łatwo dostępne i bezpiecznie przechowywane. Korzystając z naszego modelu subskrypcji, organizatorzy koncertów mogą rejestrować wszystkie swoje koncerty w ciągu roku za tę samą cenę, co w przypadku kilku produkcji realizowanych tradycyjnymi metodami. Ponadto nasze oprogramowanie tworzy bezcenne archiwum, dzięki któremu działalność artystyczna muzyków oraz wartość kulturalna instytucji i krajów może dotrzeć do większej liczby osób na całym świecie” – tłumaczy Jakub Fiebig, CEO & Co-Founder w OnstageAI.

Szczególnie istotną rolę w opracowaniu tej technologii odegrała spółka badawczo-rozwojowa QED Software, specjalizującą się w dziedzinie sztucznej inteligencji i analizy danych.

„Dzięki naszemu doświadczeniu z zakresu badań i rozwoju opracowaliśmy algorytm z wykorzystaniem sztucznej inteligencji pozwalający branży muzycznej wykonać technologiczny krok w przyszłość. Niezwykle ważną rolę w jego rozwoju odegrała unikalna wiedza i doświadczenie naszych deweloperów z zakresu akustyki i uczenia maszynowego” – wskazuje Dominik Ślęzak, CEO QED Software.

Obecnie startup OnstageAI.com wspiera na stałe trzyosobowy zespół deweloperski QED Software.

Bezpieczne przechowywanie nagrań w chmurze

Misją OnstageAI jest więc przeniesienie świata muzyki klasycznej w cyfrową przyszłość. Jak już wspomniano, startupowi pomagają w tym usługi w chmurze AWS, które umożliwiają jej szybkie, łatwe i zautomatyzowane nagrywanie wideo wszystkich występów na żywo. Ponadto gwarantują zapewnienie bezpiecznego przechowywania nagranych danych.

W rezultacie korzystanie z usług AWS pozwala OnstageAI zaoferować teatrom i salom koncertowym nieograniczone zasoby dyskowe w chmurze, aby łatwo uzyskać dostęp i bezpiecznie przechowywać swoje nagrania. Startup planuje również wykorzystać AWS SageMaker do ulepszenia AI i modeli uczenia maszynowego.

„Usługi w chmurze demokratyzują dostęp do innowacyjnych technologii dla firm z wielu branż, niezależnie od ich wielkości. Dzięki temu teraz każda firma może pozwolić sobie na wykorzystanie rozwiązań takich jak uczenie maszynowe i algorytmy AI, aby zrealizować swoją wielką wizję lub odpowiedzieć na zmieniające się potrzeby swoich konsumentów” – komentuje Dariusz Matczak, Account Manager Public Sector w AWS. „To ekscytujące, że robi to także OnstageAI, aby umożliwić instytucjom kulturalnym dotarcie do szerszej publiczności na całym świecie” – dodaje.

Kto korzysta z rozwiązania OnstageAI?

Z oprogramowania polskiego startupu skorzystały już czołowe, międzynarodowe festiwale muzyki klasycznej w Szwajcarii – po raz pierwszy Festiwal w Lucernie w listopadzie 2021 roku, a następnie Mizmorim Kammermusik Festival w styczniu 2022 roku. Z kolei w kwietniu 2022 roku technologia ta zadebiutowała w USA podczas pełnego koncertu symfonicznego Lubbock Symphony Orchestra w Lubbock w Teksasie. Natomiast we wrześniu i październiku 2022 polska spółka rozpoczęła również współpracę z Iceland Symphony Orchestra.

„Szczególnie ważne jest dla nas niedawne nawiązanie współpracy z tak prestiżowymi instytucjami jak Curtis Institute of Music i Louisville Orchestra. To dowód na to, że nasza firma staje się integralną częścią dalszego rozwoju branży muzyki klasycznej z wykorzystaniem nowych technologii” – mówi Jakub Fiebig.

Plany na przyszłość

Jak wskazują twórcy rozwiązania OnstageAI, automatyzacja produkcji wideo z koncertów muzyki klasycznej jest tylko jednym z możliwych zastosowań tej technologii. W przyszłości możliwe będzie bowiem automatyzowanie wszystkich działań scenicznych zależnych od dźwięku wykonywanego na żywo. Przykładowo, wyświetlania napisów w operze, sterowania oświetleniem, ruchu kurtyn czy też zmian stron partytur muzycznych.

Przedstawiciele startupu informują ponadto, że jednym z głównych kierunków będzie również rozwój technologii do wykorzystania jej przy immersyjnych doświadczeniach (z ang. immersive experiences). Póki co zespół OnstageAI skupia się na rozwinięciu narzędzia do produkcji wideo do etapu finalnej wersji komercyjnej gotowej do sprzedaży.

„Jestem podekscytowany, że mogę być częścią OnstageAI. To przyszłościowy, zaawansowany technologicznie projekt, który przybliża piękno muzyki klasycznej znacznie szerszej publiczności” – podsumowuje Urban Ward, konsultant OnstageAI ds. transmisji na żywo i rozwoju publiczności; członek zarządu Nordic Sound Association; były dyrektor ds. komunikacji Orkiestry Symfonicznej w Göteborgu.