Mimo rosnącej jakości i fotorealizmu jedną z największych barier w ich praktycznym wykorzystaniu do tworzenia dłuższych narracji pozostawał brak spójności. Generowane postacie często zmieniały swój wygląd między kolejnymi ujęciami, co uniemożliwiało opowiadanie historii. Jeden z liderów branży wprowadził właśnie rozwiązanie, które ma ostatecznie wyeliminować ten istotny problem i uczynić z AI pełnoprawne narzędzie filmowe.
Act-Two pozwala animować postacie za pomocą prostego wideo, przenosząc ruch na dowolną postać z realistycznym ruchem, mową i ekspresją.
Technologia Runway Act-Two to kolejny krok w rozwoju technologii motion capture wykorzystujących sztuczną inteligencję. Model pozwala na animację postaci poprzez analizę pojedynczego nagrania referencyjnego, które można wykonać nawet kamerką w smartfonie lub komputerze, bez konieczności stosowania markerów czy specjalistycznych kombinezonów. System śledzi kompleksowo mimikę twarzy, gesty dłoni oraz ruch całego ciała, przenosząc te elementy na wybraną postać w czasie rzeczywistym.
Technologia Act-Two znacząco przewyższa możliwości poprzednika Act-One, który ograniczał się jedynie do animacji statycznych obrazów. Nowy model obsługuje zarówno zdjęcia jak również filmy jako materiał wyjściowy, oferując większą elastyczność w procesie twórczym. Dodatkowo system automatycznie dodaje ruch kamery i elementy środowiska. Nadaje to animacjom bardziej kinowy charakter. Firma twierdzi, że Act-Two zapewnia znacznie wyższą jakość generowania i spójność ruchu w porównaniu z wcześniejszymi wersjami.
Act-Two jest obecnie dostępny wyłącznie dla klientów Enterprise oraz Creative Partners firmy Runway. Model obsługuje nagrania o długości do 30 sekund w różnych formatach, w tym 16:9, 9:16 czy 1:1, z częstotliwością 24 klatek na sekundę. Koszt generacji wynosi 5 kredytów na sekundę przy minimum 3-sekundowym filmie. Jak informowaliśmy wcześniej, Runway wzbudza kontrowersje ze względu na wykorzystywanie materiałów z YouTube bez zgody autorów do trenowania swoich modeli AI. Niemniej firma kontynuuje rozwój zaawansowanych narzędzi do generowania treści multimedialnych, konkurując z innymi rozwiązaniami jak Moonvalley Marey czy wbudowane funkcje AI w Adobe Premiere Pro.
Źródło: Runway