RunwayML hat ein neues Modell für Gesichtsanimationen vorgestellt. Wird Act-One die herkömmlichen Motion-Capture-Techniken herausfordern?
Traditionelle Gesichtsanimationen setzen oft komplexe und mehrstufige Arbeitsabläufe voraus. Dabei sind spezielle Motion-Capture-Ausrüstung, mehrere Referenzaufnahmen und eine manuelle Nachbearbeitung notwendig. RunwayML will diesen Prozess mit dem neuen „Act-One“-Modell drastisch vereinfachen. Das Modell überträgt die Schauspielperformance direkt anhand von Video- und Sprachaufnahmen auf animierte Charaktere. Dabei verspricht das Unternehmen, dass selbst feinste Details der Mimik erfasst werden können – und das alles mit einem herkömmlichen Smartphone.
Vielseitige Einsatzmöglichkeiten
Act-One ist vielseitig einsetzbar. Es funktioniert mit einer Vielzahl von Referenzbildern und bewahrt realistische Gesichtsausdrücke, selbst wenn die Proportionen des Zielcharakters von denen des Quellvideos abweichen. In einem Demo-Video zeigt RunwayML, wie das Modell eine Performance aus einem einzigen Video auf verschiedene Charakterdesigns und in unterschiedliche Stile übertragen kann. Dabei sollen filmische und realistische Ergebnisse erzielt werden, unabhängig von Kamerawinkeln und Brennweiten.
Ein offensichtlicher Anwendungsbereich ist die Übertragung von Mimik und Stimme auf animierte Charaktere, wie sie in Filmen und Spielen zum Einsatz kommen. Doch RunwayML geht noch weiter und zeigt, wie Act-One auch für fotorealistische Avatare genutzt werden kann. In einer weiteren Demo spielt ein einzelner Schauspieler zwei virtuelle Charaktere gleichzeitig. Diese Technologie könnte die Erstellung von narrativen Inhalten revolutionieren, indem nur eine handelsübliche Kamera und ein Schauspieler benötigt werden, der verschiedene Charaktere darstellt. Der Zugang zu Act-One wird ab sofort schrittweise freigegeben und soll bald für alle Nutzer verfügbar sein.