Nvidia avasi vastikään Audio2Face 3D -animaatiomallinsa lähdekoodin. Mallin avulla on mahdollista luoda ihmisistä realistisia digitaalisia kaksoisolentoja.
Teknologia hyödyntää generatiivisia videomalleja kasvoanimaatioiden luontiin, tekstistä puheeksi -malleja äänen tuottamiseen sekä suuria kielimalleja keskustelujen rakentamiseen. Lopputuloksena on reaaliaikaista animaatiota ja puhetta, ja edistynyt malli osaa välittää tunnetiloja pelkästään kasvonilmeilläkin.
Audio2Face-kehityspaketin avulla kuka tahansa voi luoda oman digitaalisen avatarinsa ja räätälöidä sen mieleisekseen. Avustavina työkaluina toimivat Autodesk Maya ja Unreal Engine -lisäosat.
Audio2Face helpottaa pelikehittäjien urakkaa, sillä kasvoanimaatioiden tekeminen helpottuu. Automatisoitu prosessi luo peleihin animaatioita nopeasti helpottaen animaattoreiden työtä. Alla näyte tekniikasta.