Augmenting Geometry in Implicit Neural Scene Representations

Computergenerierte Bilder sind in unserer modernen, visuellen Welt allgegenwärtig. Fertigung, Unterhaltung, Bildung und viele andere Branchen benötigen reale oder fiktive virtuelle 3D-Modelle, um eine Vielzahl unterschiedlicher Szenarien darzustellen. Die moderne Computergrafik erzeugt hochqualitative visuelle und sogar fotorealistischen Inhalten. Diese Qualität hat jedoch zwei große Nachteile: Zum einen ist die Berechnung vieler visueller Effekte auf der Grundlage traditioneller Methoden ineffizient und mit langen Berechnungszeiten verbunden. Zweitens steigt mit zunehmender Bildqualität die Forderung nach einer extrem feinen Geometrie, die die gewünschte Szene darstellt. Daher ist eine der zeitaufwändige und mühsame Nachbearbeitung von Hand erforderlich. Ob einzelne Objekte oder ganze Szenen, jedes kleine Detail wird von Hand positioniert, einschließlich Geometrie, Lichtquellen oder Objektmaterialien. Doktorand Daniel Bachmannn macht sich tiefengenerative Ansätze mit neuronalen Netzwerken, insbesondere dem neuronalen Rendering zunutze. Hier werden Merkmale wie z.B. Form oder Farbe von virtuellen Objekten oder Szenen als gelernte Gewichte kodiert, die von neuronalen Netzen gespeichert werden. Diese interne Repräsentation wird als neuronale Szenenrepräsentation (NSR) bezeichnet - eine nicht-diskretisierende, implizite Form der Speicherung von Szenendaten.