In einer Welt, die zunehmend von 3D-Technologien geprägt wird, bietet Stability AI mit SF3D eine Lösung, die neue Maßstäbe setzt.
Stability AI hat mit SF3D eine Technologie vorgestellt, die 3D-Objektmodelle aus einzelnen Bildern in hoher Qualität und unter einem Megabyte Dateigröße erzeugt. Aufbauend auf Erkenntnissen von TripoSR, das bereits 3D-Modelle in nur einer halben Sekunde erstellte, bietet SF3D weitere Verbesserungen und löst bestehende Probleme.
Ein großes Problem in der 3D-Modellierung ist die eingebrachte Beleuchtung aus dem Originalbild, die die Flexibilität der Modelle einschränkt. SF3D umgeht dies, indem es Beleuchtungs- und Reflexionseigenschaften separat modelliert und damit konsistentere Ergebnisse liefert. Eine sphärische Gaußsche Funktion sorgt hierbei für realistische Beleuchtung unabhängig von der ursprünglichen Lichtsituation.
Ein weiterer Fortschritt liegt in der Effizienz der Modellierung. Anstatt auf die ineffiziente Methode der Vertex-Farben zu setzen, nutzt SF3D die UV-Entfaltung, um Texturen auf eine 2D-Oberfläche zu projizieren. Dies ermöglicht die Darstellung feinerer Details mit weniger Polygonen. Durch den Einsatz des DMTet-Algorithmus und die Verwendung von Normal-Maps wird zudem die Oberflächenglätte und Detailgenauigkeit der Modelle erhöht.
SF3D schätzt auch Materialeigenschaften wie Metallizität und Rauheit für das gesamte Objekt voraus, was besonders unter verschiedenen Beleuchtungssituationen zu realistischeren Ergebnissen führt. Die Pipeline von SF3D umfasst fünf Hauptkomponenten, die zusammen eine effiziente und schnelle Erstellung der 3D-Modelle ermöglichen:
- Ein fortschrittliches neuronales Netzwerk zur Vorhersage von 3D-Daten mit höherer Auflösung
- Ein Netzwerk zur Schätzung von Materialeigenschaften
- Ein Modul zur Vorhersage der Beleuchtung
- Ein Schritt zur Extraktion und Verfeinerung des Polygonnetzes
- Ein schnelles Modul zur UV-Entwicklung und Export des fertigen 3D-Modells
Die experimentellen Ergebnisse belegen die hohe Qualität und Effizienz von SF3D: Modelle werden in nur 0,5 Sekunden erstellt und bleiben unter 1 MB. Besonders hervorzuheben ist die Kombination mit schnellen Text-zu-Bild-Modellen, wodurch 3D-Modelle aus Textbeschreibungen in etwa einer Sekunde generiert werden können. Stability AI hat bereits mit Technologien wie Stable 3D und Zero123 beeindruckende Fortschritte in der 3D-Objektmodellierung erzielt. SF3D stellt einen weiteren bedeutenden Meilenstein dar und eröffnet neue Möglichkeiten für vielfältige Anwendungen in der digitalen Welt.