(openPR) Am 14. März 2024 führte der Betreiber des Kraftwerks TEPCO (Tokyo Electric Power Company) eine Untersuchung im sogenannten Sockelbereich direkt unterhalb des Reaktordruckbehälters durch. Zwei Kleinst-Drohnen mit einem Gewicht von je 185 Gramm dokumentierten die Umgebung per Video und führten eine Bestandsaufnahme geschmolzener Überreste des Kernbrennstoffs durch. „3D Gaussian Splatting“ kam zum Einsatz, um Teile des so aufgezeichneten Videomaterials in interaktive 3D-Visualisierungen umzuwandeln und Abschnitte des dortigen Areals digital erkunden zu können, in etwa vergleichbar mit einem Computerspiel.
Das Verfahren kombiniert geometrische Prinzipien der Computergrafik mit modernen Optimierungstechniken aus der KI-Forschung. Beim „3D Gaussian Splatting“ wird zunächst, basierend auf einem etablierten Verfahren („Structure from Motion), aus mehreren Einzelbildern, etwa aus Videoaufnahmen, die Position der Kamera in der Szene berechnet. Daraus entsteht eine grobe 3D-Punktwolke, die markante Bildpunkte der Szene enthält. In einem weiteren Schritt werden diese Punkte in sogenannte 3D-Gaussfunktionen überführt – das sind kleine, elliptische, dreidimensionale „Nebelwolken“, die jeweils eine exakte Position im Raum, eine Farbe, eine Form und eine Transparenz aufweisen. In einem iterativen Optimierungsprozess werden diese „Gaussians“ fortlaufend angepasst, ergänzt oder entfernt (fachsprachlich „trainiert“), bis sie den ursprünglichen Bilddaten möglichst genau entsprechen und die Szene aus beliebigen Blickwinkeln realitätsgetreu dargestellt werden kann.
Die Methode wurde im Rahmen des ERC Advanced Grant FUNGRAPH am Inria Centre der Université Côte d’Azur entwickelt. „Dieses Ergebnis ist der Höhepunkt von 20 Jahren Forschung im Bereich des bildbasierten Renderings und das Hauptergebnis des ERC FUNGRAPH“, erklärt George Drettakis, Leiter des Inria-Teams GRAPHDECO.
„Im Gegensatz zu früheren Verfahren ermöglicht unsere Methode ein um ein Vielfaches schnelleres Rendering der 3D-Rekonstruktionen. Dadurch lässt sich eine Szene, sogar bei gleichbleibender oder höherer Bildqualität im Vergleich zu bisherigen Verfahren, flüssig und ohne Ruckler navigieren”, erklärt Thomas Leimkühler, Leiter der Forschungsgruppe „Image Synthesis and Machine Learning“ am Saarbrücker MPI für Informatik.
Während der Einsatz in Fukushima einen spannenden Anwendungsfall in einer Hochrisiko-Umgebung darstellt, eröffnet die Methode viele andere Einsatzfelder. Mehrere bereits laufende kommerzielle Lizenzen bestätigen das Interesse von Branchen wie:
- Kino und Videospielen, um ultrarealistische Kulissen zu erzeugen.
- Virtuelle Realität im Bereich von Kultur, Tourismus oder Archäologie, zum Beispiel zur Rekonstruktion realer Orte, die erkundet werden können;
- Online-Handel und soziale Netzwerke, um ultra-immersive Objekte oder Umgebungen zu schaffen;
- Generative KI für die Erstellung von 3D-Inhalten, die Gaussian Splatting als 3D-Darstellung nutzt.
Die Autoren hinter “3D Gaussian Splatting” sind Bernhard Kerbl, Georgios Kopanas und George Drettakis (alle Inria, Université Côte d’Azur) sowie Thomas Leimkühler vom MPI für Informatik. Für Ihre Arbeit erhielten sie 2023 den Best Paper Award der ACM SIGGRAPH Konferenz, einer der weltweit führenden Fachkonferenzen im Bereich Computergrafik. Seitdem kamen weitere Auszeichnungen hinzu. Die Methode hat sich in der Forschung schnell etabliert, mit mehr als 8000 Zitationen in rund zweieinhalb Jahren.
Pressekontakt MPI für Informatik:
Philipp Zapf-Schramm
Max-Planck-Institut für Informatik
Tel.: +49 681 9325 4509
Email:
Pressekontakt Inria:
Magalie Quet,
Über das Max-Planck-Institut für Informatik:
Das Ziel des Max-Planck-Instituts für Informatik ist es, die Grundlagenforschung und Innovation in Schlüsselbereichen der Informatik voranzutreiben. Die Forschung am Institut umfasst ein breites Spektrum – von der Erforschung grundlegender Prinzipien von Algorithmen und Logik über die Analyse von Systemen wie dem Internet bis hin zu multimodalen Bereichen wie Computer Vision, Computergrafik, Datenbanken und Informationssystemen, maschinellem Lernen und künstlicher Intelligenz. Durch die Verknüpfung dieser verschiedenen Bereiche und die Pflege einer Kultur der Zusammenarbeit forscht das Institut auf höchstem wissenschaftlichem Niveau und gestaltet die Informatiklandschaft von morgen.
About Inria : Inria, digital sovereignty through research and innovation:
Inria, the French national institute for research in digital science and technology, supports the French government in national research and innovation strategies in the digital field, acting as Digital Programs Agency. Inria leads over 300 research and innovation projects with its 3,500 scientists, engineers, and support staff, in partnership with universities and the digital ecosystem (businesses, entrepreneurs, and public stakeholders). Together, we explore strategic fields such as artificial intelligence, cybersecurity, quantum computing, cloud technologies, digital transformation in healthcare, digital twins, and digital technologies for defence. We develop practical solutions such as software, tech startups, partnerships with national companies, and cutting-edge training programmes. Our goal is to drive scientific, technological, and industrial excellence to ensure France’s digital sovereign.
wissenschaftliche Ansprechpartner:
Dr. Thomas Leimkühler
Forschungsgruppenleiter "Image Synthesis and Machine Learning"
Originalpublikation:
Kerbl, B., Kopanas, G., Leimkühler, T., & Drettakis, G. (2023). 3D Gaussian Splatting for Real-Time Radiance Field Rendering. ACM Transactions on Graphics, 42(4).
https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/
