Audio2Face 3D udostępniony za darmo. NVIDIA otwiera kod źródłowy zaawansowanego systemu lip-sync wspomaganego AI

AI oferuje narzędzia, które automatyzują i przyspieszają skomplikowane procesy przy tworzeniu animacji w grach. Generowanie realistycznych zachowań i mimiki cyfrowych postaci to jedno z największych wyzwań, które do niedawna wymagało ogromnych nakładów pracy. Czołowi gracze na rynku prześcigają się w rozwijaniu swoich autorskich rozwiązań, a niektóre z nich postanawiają udostępnić istotne elementy swoich platform odbiorcom.

Audio2Face wykorzystuje AI do generowania realistycznych animacji twarzy na podstawie danych audio poprzez analizę cech akustycznych takich jak fonemy i intonacja w celu stworzenia strumienia danych animacyjnych.

NVIDIA inwestuje 100 miliardów dolarów w OpenAI na budowę centrów danych o mocy 10 gigawatów z układami Vera Rubin

NVIDIA ogłosiła udostępnienie swojej technologii Audio2Face na licencji MIT open source, dając deweloperom gier i aplikacji 3D bezpłatny dostęp do zaawansowanych narzędzi animacji cyfrowych postaci. Audio2Face wykorzystuje sztuczną inteligencję do automatycznego generowania ekspresyjnych animacji twarzy i synchronizacji ruchu ust na podstawie jedynie nagrania audio. Technologia analizuje cechy akustyczne dźwięku, w tym fonemy i intonację, przekształcając je w strumień danych animacyjnych mapowanych na pozy twarzy postaci. System działa zarówno w trybie offline dla predefiniowanych treści, jak i w czasie rzeczywistym dla dynamicznych interakcji. NVIDIA udostępnia kompletny pakiet obejmujący Audio2Face SDK, wtyczki dla Autodesk Maya i Unreal Engine 5, framework treningowy oraz przykładowe zestawy danych. W ramach wydania znalazły się także modele Audio2Emotion, które potrafią wywnioskować stan emocjonalny postaci bezpośrednio z audio.

Umowa pomiędzy Intelem oraz NVIDIĄ nie powinna negatywnie wpłynąć na segment układów graficznych Intel ARC

Decyzja o otworzeniu kodu źródłowego Audio2Face stanowi kontynuację strategii NVIDIA związanej z platformą ACE for Games, o której informowaliśmy jako o potencjalnej rewolucji w interakcjach z NPC. Pierwsze praktyczne zastosowanie tej technologii zostało zaprezentowane w grze Mecha BREAK podczas targów Gamescom 2024, gdzie pokazano działanie kompaktowego modelu NVIDIA Minitron 4B wymagającego jedynie 2 GB VRAM.

NVIDIA nie buduje komputera kwantowego, a i tak chce zdominować rynek. Znamy ich genialny plan, czyli NVAQC

Studia deweloperskie już wykorzystują Audio2Face w produkcji komercyjnej, w tym GSC Game World w grze STALKER 2 Heart of Chornobyl oraz The Farm 51 w Chernobylite 2 Exclusion Zone. Technologia pozwala ominąć czasochłonne tradycyjne metody motion capture, przyspieszając produkcję i umożliwiając animatorom skupienie się na wyższej jakości dopracowaniu detali. Dla mniejszych studiów oznacza to dostęp do narzędzi wcześniej zarezerwowanych dla największych producentów AAA, co może doprowadzić do wyrównania poziomu jakości animacji między budżetowymi i wysokobudżetowymi produkcjami. Poniżej przykład zastosowania tej technologii.

Źródło: NVIDIA