Movie Gen to nowy model generatywnej sztucznej inteligencji, który tworzy realistycznie wyglądające klipy wideo i audio w rozdzielczości HD, kierując się tekstowymi podpowiedziami użytkownika. Co ciekawe, potrafi też edytować nagrane już video. Niestety, nie jest jeszcze dostępny publicznie.
Stworzony przez Meta model składa się z 13 mld parametrów i wstępnie przeszkolono go na milionach obrazów i 100 milionach filmów. Umożliwia m.in. płynne wprowadzanie zmiany w gotowych już scenach. Przykładowo, może to być dodawanie efektów pogodowych, zastępowanie różnych obiektów czy dodawanie ich za pomocą prostych instrukcji tekstowych. Tym właśnie narzędzie to różni się od OpenAI Sora. Według specjalistów Meta, inne modele GenAI nie są obecnie w stanie tworzyć tak dobrej edycji jak Movie Gen Edit.
Kolejną ciekawą funkcjonalnością Movie Gen jest możliwość przekształcania zdjęć w spersonalizowane filmy, zachowujące ludzką tożsamość i ruch. Można więc wziąć dowolne zdjęcie i “ożywić” występującą na nim postać w krótkiej narracji wideo.
Model od Meta pozwala też na tworzenie oraz rozszerzanie efektów dźwiękowych i muzyki 48 kHz na podstawie podpowiedzi tekstowych. Do tego celu sztuczna inteligencja została wstępnie wytrenowana na milionie godzin dźwięku.
Jak poinformowali specjaliści Meta, obecnie filmy stworzone przez Movie Gen mogą mieć maksymalnie 16 sekund długości. Z kolei dźwięk może mieć do 45 sekund długości.
Rzecznicy firmy Meta zapowiedzieli, że firma póki co nie udostępni Movie Gen do publicznego, otwartego użytku przez programistów – tak jak ma to miejsce w przypadku serii dużych modeli językowych Llama. Poinformowali natomiast, że spółka współpracuje bezpośrednio ze społecznością z sektora rozrywkowego oraz innymi twórcami treści, aby wykorzystać Movie Gen i włączyć go do indywidualnych produktów firmy Meta. Ma to nastąpić w przyszłym roku.
Obecnie eksperci Meta pracują nad środkami bezpieczeństwa dla Movie Gen i dopiero po upewnieniu się, że technologia ta jest niezawodna i bezpieczna, będzie ona udostępniona publicznie.
Warto dodać, że specjaliści z branży rozrywkowej chętnie wykorzystują takie narzędzia do ulepszania i przyspieszania produkcji filmowej, ale istotna jest również kwestia zachowania praw autorskich. Do tego dochodzą jeszcze poważne obawy dotyczące możliwości generowania przez takie modele AI deepfake’ów.
