Meta hat mit „3D Gen“ ein bahnbrechendes KI-System vorgestellt, das die Erstellung von 3D-Inhalten revolutioniert und innerhalb von weniger als einer Minute hochwertige 3D-Objekte aus Textbeschreibungen erzeugen kann.
Stellen Sie sich vor, Sie könnten in weniger als einer Minute ein komplexes 3D-Objekt allein durch eine einfache Textbeschreibung erstellen – mit Metas neuem KI-System „3D Gen“ wird genau das möglich.
Meta hat „3D Gen“ entwickelt, um die 3D-Generierung auf ein neues Niveau zu heben. Das System kombiniert zwei bestehende Modelle: AssetGen und TextureGen. AssetGen ist für die Generierung der 3D-Objekte zuständig und benötigt dafür etwa 30 Sekunden. Es erstellt nicht nur das Objekt, sondern auch die Textur und das Physical Based Rendering (PBR), wodurch die generierten Assets sofort in Anwendungen wiederverwendet werden können.
Der zweite Schritt, der ungefähr 20 Sekunden dauert, wird von TextureGen ausgeführt. Dieses Modell kann die Textur des aus Schritt 1 generierten Objekts auf Basis der ursprünglichen Beschreibung optimieren oder eine neue Textur für ein beliebiges unstrukturiertes 3D-Mesh erstellen.
Beide Schritte basieren auf Metas Text-zu-Bild-Modellen der Emu-Familie und sind mit synthetischen 3D-Daten für die Multi-View-Generierung im Bild- und UV-Raum optimiert. Dies führt laut Meta zu deutlich verbesserten Texturen. Nutzerstudien haben gezeigt, dass professionelle 3D-Künstler „3D Gen“ in den meisten Kategorien besser bewerten als die Konkurrenz, besonders bei komplexen Anfragen. Darüber hinaus ist „3D Gen“ 3- bis 60-mal schneller als vergleichbare Systeme. Meta sieht in „3D Gen“ einen wichtigen Schritt hin zu personalisierten, nutzergenerierten 3D-Inhalten, die für den Aufbau virtueller Welten im Metaverse unerlässlich sind. Die Integration von KI-gestützten 3D-Assistenten soll diesen Prozess weiter erleichtern und beschleunigen.