Lichtfeld

Was versteht man unter Lichtfeldtechnologie?

Ein Lichtfeld wird durch die Anzahl von Lichtstrahlen innerhalb eines spezifischen Bereichs definiert. Wenn alle Lichtstrahlen innerhalb einer Szene aufgenommen werden, kann daraus eine Ansicht aus allen möglichen Positionen und mit allen Tiefenschärfeinformationen rekonstruiert werden. Auch wenn es zum heutigen Stand der Technik noch nicht möglich ist, ein komplettes Lichtfeld aufzunehmen, gelingt dies unter speziellen Bedingungen doch für einen großen Anteil - und dies macht den großen Vorteil für spätere Veränderungen der Szene in der Postproduktion aus. Am Fraunhofer IIS zeigen die Wissenschaftler der Abteilung Bewegtbildtechnologien, wie bereits aus einer begrenzten Anzahl von Ansichten Optimierungen in der Szene und neue kreative Möglichkeiten mithilfe der Lichtfeldtechnologie umgesetzt werden können.

Hierzu verwenden die Wissenschaftler eine planare Kameraanordung von bis zu 16 HD-Kameras, die leicht unterschiedliche Ansichten der Szene aufnimmt und aus denen z. B. Tiefeninformationen mitextrahiert werden können. Effekte wie das Verschieben des Blickwinkels, virtuelle Kamerafahrten und Zooms können so aus einer einzigen Lichtfeldaufnahme generiert werden.

Neue Wege der Filmproduktion durch Lichtfelddaten

Nachdrehs vor Ort sind aufwändig und teuer. Aber, was tun, wenn die Schärfe falsch gewählt wurde oder der Blickwinkel verändert werden muss. Mit Aufnahmen von Multikamera-systemen, die mehrere Ansichten gleichzeitig anbieten und einer intelligenten Algorithmik ist hier in der Postproduktion noch Vieles möglich.

Das Lichtfeld-Aufnahmesystem besteht derzeit aus einem Array von 16 hochauflösenden HD-Kameras in planarer Anordnung.

In der Postproduktion kann das Material frei bearbeitet und die Szenen verändert werden. Die am Fraunhofer IIS entwickelten Algorithmen bieten verschiedenste Bearbeitungsmöglichkeiten wie den Matrix-Effekt, der den Akteur wie eingefroren in der Szene erscheinen lässt und bei dem sich die Kamera um das Objekt bewegt. Der Blickwinkel lässt sich verschieben oder erweitern, als wäre die Kamera bewegt worden, obwohl diese bei der Aufnahme stationär war. Die multiplen Ansichten erlauben zudem die virtuelle Veränderung der Kameraposition. Das Objekt kann – ohne die Position der Kameras zu verändern – tiefer oder näher an den Betrachter heran-gerückt werden (Dolly-Zoom-Effekt). Aus den verschiedenen Ansichten lassen sich HDR-Bilder oder über die vorhandene Tiefeninformation auch 3D-Ansichten erstellen. Plug-ins bieten die Integration in Postproduktionsoftware für mehr Kreativität in der Nachbearbeitung.

Das Lichtfeld-Aufnahmesystem eignet sich auch für die Produktion von Stop-Motion-Filmen, bei der die Kamera nicht bewegt werden muss. Neuere Arbeiten zeigen erste Bearbeitung von Bewegtbildcontent.

Einsatzmöglichkeiten der Lichtfeldtechnologie

 

Realception® Plug-in Suite

Realception® ist eine auf Lichtfeld- und Multikameradaten basierende Plug-in Suite für die professionelle Postproduktion.

 

Zuverlässige Tiefenkartenerstellung

Das IIS hat zusammen mit dem Max-Planck-Institut für Informatik eine effiziente Algorithmik für Lichtfeldverarbeitung von Online Videostreams entwickelt. Hiermit können pixeldichte Tiefenkarten als Basis verschiedener virtueller Effekte errechnet werden.  

"Coming Home" − erster Live-Action-Clip mit Lichtfeldverarbeitung

Die Gruppe Computational Imaging erarbeitete in Kooperation mit der Hochschule der Medien HDM Stuttgart einen Clip mit Lichtfeldverarbeitung.

Mehr Informationen zu "Coming Home" finden Sie weiter unten.

Coming Home − erster Live-Action-Clip mit Lichtfeldverarbeitung

Immer häufiger wird mit mehreren Kameras am Set gedreht, um Zusatzansichten, Effekte und Tiefeninformationen zu erhalten. Um das Potential dieser Technologie real am Set zu ermitteln, startete die Gruppe Computational Imaging ein Projekt zusammen mit der Hochschule der Medien HDM, Stuttgart. Ergebnis dieser ersten Tests unter Realbedingungen war der kurze Clip "Coming Home", der die Möglichkeiten der Lichtfeldtechnologie und -verarbeitung auslotete. Den Clip sowie die Zusammenfassung der Dreharbeiten finden Sie hier.

 

Hinweis: Beim Abspielen des Videos werden Daten an vimeo übertragen.

Breakdown Coming Home

Hinweis: Beim Abspielen des Videos werden Daten an vimeo übertragen.

Publikationen

Light-field acquisition system allowing camera viewpoint and depth of field compositing in post-production.

Frederik Zilly, Michael Schöberl, Peter Schäfer, Matthias Ziegler, Joachim Keinert, Siegfried Foessel.

IBC 2013, International Broadcast Convention, Amsterdam 11.-17. September 2013.

Messen und Veranstaltungen

IBC 2017

Amsterdam | 14 - 18 September | Halle 8 Stand B80

Unsere Experten vom Fraunhofer IIS präsentieren Tools für die Nachbearbeitung in der Postproduktion mithilfe von Lichtfelddaten.

Wir freuen uns auf ihren Besuch!