Ein Forscherteam der Tschechischen Technischen Universität in Prag und der ETH Zürich hat mit der Methode „WildGaussians“ einen neuen Weg zur fotorealistischen 3D-Rekonstruktion aus unstrukturierten Fotosammlungen wie Internetbildern gefunden.
Eine bahnbrechende Methode zur 3D-Rekonstruktion könnte das Erlebnis der virtuellen Realität drastisch verbessern.
Die innovative Methode WildGaussians erschließt das 3D-Gaussian-Splatting-Verfahren (3DGS) für die Verarbeitung unstrukturierter Fotosammlungen, beispielsweise von Sehenswürdigkeiten. Dabei adressiert die Methode zwei wesentliche Herausforderungen: wechselnde Erscheinungen und Beleuchtung sowie Verdeckungen durch bewegte Objekte.
Um diese Probleme zu lösen, entwickelten die Forscher zwei Schlüsselkomponenten: Appearance Modeling und Uncertainty Modeling. Mit Appearance Modeling können Bilder, die unter unterschiedlichen Bedingungen wie Tageszeit oder Wetter aufgenommen wurden, effektiv verarbeitet werden. Hierbei werden trainierbare Einbettungen (Embeddings) verwendet, um die Farben der Gaußverteilungen an die jeweiligen Aufnahmebedingungen anzupassen.
Das Uncertainty Modeling ermöglicht es WildGaussians, Verdeckungen wie Fußgänger oder Autos während des Trainings zu erkennen und zu ignorieren. Dazu nutzen die Forscher vortrainierte DINOv2-Features, die gegenüber Veränderungen in der Landschaft robuster sind als herkömmliche Methoden.
WildGaussians übertrifft bestehende Methoden signifikant und erreicht nahezu 120 Bilder pro Sekunde. In Tests mit dem NeRF On-the-go Dataset und dem Photo Tourism Dataset, das Bilder bekannter Sehenswürdigkeiten unter verschiedenen Bedingungen umfasst, zeigte die Methode überlegene Qualität und Echtzeit-Rendering mit 117 Bildern pro Sekunde auf einer Nvidia RTX 4090 GPU. Dies stellt einen wichtigen Schritt in Richtung einer robusten und vielseitigen fotorealistischen Rekonstruktion aus nutzergenerierten, verrauschten Datenquellen dar. Allerdings räumen die Forscher ein, dass es noch Grenzen gibt, wie die Darstellung von Glanzlichtern auf Objekten. Zukünftig sollen diese durch die Integration zusätzlicher Informationslieferanten wie Diffusionsmodelle minimiert werden.