Lichtfeld

Was versteht man unter Lichtfeldtechnologie?

Ein Lichtfeld wird durch die Anzahl von Lichtstrahlen innerhalb eines spezifischen Bereichs definiert. Wenn alle Lichtstrahlen innerhalb einer Szene aufgenommen werden, kann daraus eine Ansicht aus allen möglichen Positionen und mit allen Tiefenschärfeinformationen rekonstruiert werden. Auch wenn es zum heutigen Stand der Technik noch nicht möglich ist, ein komplettes Lichtfeld aufzunehmen, gelingt dies unter speziellen Bedingungen doch für einen großen Anteil - und dies macht den großen Vorteil für spätere Veränderungen der Szene in der Postproduktion aus. Am Fraunhofer IIS zeigen die Wissenschaftler der Abteilung Bewegtbildtechnologien, wie bereits aus einer begrenzten Anzahl von Ansichten Optimierungen in der Szene und neue kreative Möglichkeiten mithilfe der Lichtfeldtechnologie umgesetzt werden können.

Hierzu verwenden die Wissenschaftler momentan eine planare Kameraanordung mit professionellen Kameras, die leicht unterschiedliche Ansichten der Szene aufnimmt und aus denen z. B. Tiefeninformationen mitextrahiert werden können. Effekte wie das Verschieben des Blickwinkels, virtuelle Kamerafahrten und Zooms können so aus einer einzigen Lichtfeldaufnahme generiert werden.

Neue Wege der Filmproduktion durch Lichtfelddaten

Nachdrehs vor Ort sind aufwändig und teuer. Aber, was tun, wenn die Schärfe falsch gewählt wurde oder der Blickwinkel verändert werden muss. Mit Aufnahmen von Multikamera-systemen, die mehrere Ansichten gleichzeitig anbieten und einer intelligenten Algorithmik ist hier in der Postproduktion noch Vieles möglich.

Das Lichtfeld-Aufnahmesystem besteht derzeit aus einem Set-up von High-Quality Kameras in planarer Anordnung. In der Postproduktion kann das Material frei bearbeitet und die Szenen verändert werden. Die am Fraunhofer IIS entwickelten Algorithmen bieten verschiedenste Bearbeitungsmöglichkeiten wie den Matrix-Effekt, der den Akteur wie eingefroren in der Szene erscheinen lässt und bei dem sich die Kamera um das Objekt bewegt. Der Blickwinkel lässt sich verschieben oder erweitern, als wäre die Kamera bewegt worden, obwohl diese bei der Aufnahme stationär war. Die multiplen Ansichten erlauben zudem die virtuelle Veränderung der Kameraposition. Das Objekt kann – ohne die Position der Kameras zu verändern – tiefer oder näher an den Betrachter heran-gerückt werden (Dolly-Zoom-Effekt). Aus den verschiedenen Ansichten lassen sich HDR-Bilder oder über die vorhandene Tiefeninformation auch 3D-Ansichten erstellen. Plug-ins bieten die Integration in Postproduktionsoftware für mehr Kreativität in der Nachbearbeitung.

Das Lichtfeld-Aufnahmesystem eignet sich auch für die Produktion von Stop-Motion-Filmen, bei der die Kamera nicht bewegt werden muss. Neuere Arbeiten zeigen erste Bearbeitung von Bewegtbildcontent.

Neuigkeiten

 

Realception® Plug-in Suite

 

Realception® ist eine auf Lichtfeld- und Multikameradaten basierende Plug-in Suite für die professionelle Postproduktion.

 

Lichtfeldaufnahmen als Download

Sie haben Interesse an Lichtfeldaufnahmen?
Das Fraunhofer IIS bietet einen Lichtfeld Datensatz zum Download an.

Projekte

EU-Projekt Realvision - Hyperrealistische Bilderfahrungen

Das RealVision Netzwerk bringt führende Hochschulen, Forschungszentren mit dem Schwerpunkt industrieller Entwicklung und Firmen aus ganz Europa zusammen, um eine neue Generation an qualifizierten Wissenschaftlern und Unternehmern im Bereich hyper-realistischer Bildbearbeitungstechnologien sowie Kodierungs- und Display-Technologien zu schulen. Deren Ziel ist die Erstellung von qualitativ hochwertigem und wirklichkeitsgetreuem Bildmaterial für realistische, digitale Videos.

ETN-FPI - European Training Network on Full Parallax Imaging

ETN-FPI ist ein vierjähriges (2015-2019) innovatives Trainingsnetzwerk, das im Rahmen des Marie-Sklodowska-Curie-Abkommens mit Mitteln aus dem Programm "Horizont 2020" der Europäischen Union finanziert wird. Es bringt insgesamt 16 Beteiligte und Partnerorganisationen aus Finnland, Schweden, Deutschland, dem Vereinigten Königreich, Spanien, Ungarn und Singapur zusammen mit dem Ziel, eine neue Forschergeneration im Bereich full parallax imaging zu trainieren. Erzielt wird dies mit der Ausbildung von 15 talentierten Nachwuchswissenschaftlern.

Hinweis: Beim Abspielen des Videos werden Daten an vimeo übertragen.

Zuverlässige Tiefenkartenerstellung

Das Fraunhofer IIS hat zusammen mit dem Max-Planck-Institut für Informatik eine effiziente Algorithmik für Lichtfeldverarbeitung von Online Videostreams entwickelt. Hiermit können pixeldichte Tiefenkarten als Basis verschiedener virtueller Effekte errechnet werden. 

Coming Home − erster Live-Action-Clip mit Lichtfeldverarbeitung

Immer häufiger wird mit mehreren Kameras am Set gedreht, um Zusatzansichten, Effekte und Tiefeninformationen zu erhalten. Um das Potential dieser Technologie real am Set zu ermitteln, startete die Gruppe Computational Imaging ein Projekt zusammen mit der Hochschule der Medien HDM, Stuttgart. Ergebnis dieser ersten Tests unter Realbedingungen war der kurze Clip "Coming Home", der die Möglichkeiten der Lichtfeldtechnologie und -verarbeitung auslotete. Den Clip sowie die Zusammenfassung der Dreharbeiten finden Sie hier.

 

Hinweis: Beim Abspielen des Videos werden Daten an vimeo übertragen.

Breakdown Coming Home

Hinweis: Beim Abspielen des Videos werden Daten an vimeo übertragen.

Publikationen

"Light-field acquisition system allowing camera viewpoint and depth of field compositing in post-production."



Frederik Zilly, Michael Schöberl, Peter Schäfer, Matthias Ziegler, Joachim Keinert, Siegfried Foessel.


IBC 2013, Amsterdam 11.-17. September 2013.

 

"Acquisition system for dense lightfield of large scenes."

 

 

 

 

Matthias Ziegler, Ron op het Veld, Joachim Keinert, Frederik Zilly.



3DTV-Con 2017, Copenhagen 07.-09. June 2017.

"Immersive Virtual Reality for live-action video using camera arrays."

 

 


Matthias Ziegler, Joachim Keinert, Nina Holzer, Thorsten Wolf, Tobias Jaschke, Ron op het Veld, Faezeh Sadat Zakeri, Siegfried Foessel.

IBC 2017, Amsterdam 15.-19. September 2017.

Messen und Veranstaltungen

IBC 2018

Besuchen Sie uns vom 14. bis 18. September 2018 in Amsterdam an unserem Stand B.80 in der Halle 8.

Wir freuen uns auf Sie!