Lichtfeld

Was versteht man unter Lichtfeldtechnologie?

Ein Lichtfeld wird durch alle Lichtstrahlen innerhalb eines spezifischen Bereichs definiert. Wenn alle Lichtstrahlen innerhalb einer Szene aufgenommen werden, kann daraus eine Ansicht aus allen möglichen Positionen und mit unterschiedlicher Schärfentiefe rekonstruiert werden. Auch wenn es noch nicht möglich ist, ein komplettes Lichtfeld einer ganzen Szene aufzunehmen, gelingt dies unter speziellen Bedingungen für einen großen Anteil, was einen großen Vorteil für spätere Veränderungen der Szene in der Postproduktion bietet.

Am Fraunhofer IIS zeigen die Wissenschaftler der Abteilung Bewegtbildtechnologien, wie Optimierungen an einer Szene mithilfe einer planaren Kameraanordnung mit professionellen Kameras, die leicht unterschiedliche Ansichten der Szene aufnimmt und aus denen z. B. Tiefeninformationen mitextrahiert werden können, umgesetzt werden können. Das eröffnet neue kreative Möglichkeiten wie das Verschieben des Blickwinkels, virtuelle Kamerafahrten und Zoom-Einstellungen, die so aus einer einzigen Lichtfeldaufnahme generiert werden können.

Neuigkeiten

 

Realception® Plug-in Suite

 

Realception® ist eine auf Lichtfeld- und Multikameradaten basierende Plug-in Suite für die professionelle Postproduktion.

 

 

Statische planare Lichtfeldaufnahmen als Download

Sie haben Interesse an Lichtfeldaufnahmen?
Das Fraunhofer IIS bietet einen Lichtfeld Datensatz zum Download an.

Statische non-planare Lichtfeldaufnahmen als Download

Sie haben Interesse an Lichtfeldaufnahmen?
Das Fraunhofer IIS bietet einen Lichtfeld Datensatz zum Download an, basierend auf dem Paper "Non-planar inside-out dense light-field dataset and reconstruction pipeline".

Neue Wege der Filmproduktion durch Lichtfelddaten

Normalerweise sind, wenn die Schärfe falsch gewählt wurde oder der Blickwinkel verändert werden muss, teure und aufwändige Nachdrehs vor Ort notwendig. In der Postproduktion eröffnen nun jedoch intelligente Algorithmen und Aufnahmen von Multimediakamerasystemen, die mehrere Ansichten gleichzeitig anbieten, neue Möglichkeiten.

Die am Fraunhofer IIS entwickelten Algorithmen bieten verschiedenste Bearbeitungsmöglichkeiten, so lässt sich beispielsweise der Blickwinkel verschieben oder erweitern, als wäre die Kamera bewegt worden, obwohl diese bei der Aufnahme stationär war. Die multiplen Ansichten erlauben zudem die virtuelle Veränderung der Kameraposition, z.B. beim Dolly-Zoom-Effekt.

Aus den verschiedenen Ansichten lassen sich über die vorhandene Tiefeninformation auch 3D-Ansichten erstellen. Plug-ins wie die Realception® Plug-ins für Nuke und die Unreal Engine bieten die Integration in Postproduktionssoftware für mehr Kreativität in der Nachbearbeitung. Das Lichtfeldaufnahmesystem eignet sich auch für die Produktion von Stop-Motion-Filmen, bei der die Kamera nicht bewegt werden muss.

Projekte

EU-Projekt RealVision - Hyperrealistische Bilderfahrungen

Das RealVision Netzwerk bringt führende Hochschulen, Forschungszentren mit dem Schwerpunkt industrieller Entwicklung und Firmen aus ganz Europa zusammen, um eine neue Generation an qualifizierten Wissenschaftlern und Unternehmern im Bereich hyper-realistischer Bildbearbeitungstechnologien sowie Kodierungs- und Display-Technologien zu schulen. Deren Ziel ist die Erstellung von qualitativ hochwertigem und wirklichkeitsgetreuem Bildmaterial für realistische, digitale Videos.

Das untenstehende Video fasst den Workshop zusammen, der von Fraunhofer IIS im Kontext des RealVision Projekts veranstaltet wurde. Das Ziel war es, den Doktoranden Kenntnisse im Zusammenhang mit der Aufnahme und Verarbeitung von Lichtfeldvideomaterial zu vermitteln, einerseits durch Vorträge von Experten auf diesem Gebiet, sowie andererseits in praktischen Sitzungen.

 

Hinweis: Beim Abspielen des Videos werden Daten an vimeo übertragen.

ETN-FPI - European Training Network on Full Parallax Imaging

ETN-FPI ist ein vierjähriges (2015-2019) innovatives Trainingsnetzwerk, das im Rahmen des Marie-Sklodowska-Curie-Abkommens mit Mitteln aus dem Programm "Horizont 2020" der Europäischen Union finanziert wird. Es bringt insgesamt 16 Beteiligte und Partnerorganisationen aus Finnland, Schweden, Deutschland, dem Vereinigten Königreich, Spanien, Ungarn und Singapur zusammen mit dem Ziel, eine neue Forschergeneration im Bereich full parallax imaging zu trainieren. Erzielt wird dies mit der Ausbildung von 15 talentierten Nachwuchswissenschaftlern.

Hinweis: Beim Abspielen des Videos werden Daten an vimeo übertragen.

Zuverlässige Tiefenkartenerstellung

Das Fraunhofer IIS hat zusammen mit dem Max-Planck-Institut für Informatik eine effiziente Algorithmik für Lichtfeldverarbeitung von Online Videostreams entwickelt. Hiermit können pixeldichte Tiefenkarten als Basis verschiedener virtueller Effekte errechnet werden. 

Coming Home − erster Live-Action-Clip mit Lichtfeldverarbeitung

Immer häufiger wird mit mehreren Kameras am Set gedreht, um Zusatzansichten, Effekte und Tiefeninformationen zu erhalten. Um das Potential dieser Technologie real am Set zu ermitteln, startete die Gruppe Computational Imaging ein Projekt zusammen mit der Hochschule der Medien HDM, Stuttgart. Ergebnis dieser ersten Tests unter Realbedingungen war der kurze Clip "Coming Home", der die Möglichkeiten der Lichtfeldtechnologie und -verarbeitung auslotete. Den Clip sowie die Zusammenfassung der Dreharbeiten finden Sie hier.

 

Hinweis: Beim Abspielen des Videos werden Daten an vimeo übertragen.

Hinweis: Beim Abspielen des Videos werden Daten an vimeo übertragen.

Publikationen

"Light-field acquisition system allowing camera viewpoint and depth of field compositing in post-production"



Frederik Zilly, Michael Schöberl, Peter Schäfer, Matthias Ziegler, Joachim Keinert, Siegfried Foessel


IBC (International Broadcasting Convention), Amsterdam, Niederlande, 11.-17. September 2013.

 

"Acquisition system for dense lightfield of large scenes"

 

 

 

 

Matthias Ziegler, Ron Op het Veld, Joachim Keinert, Frederik Zilly



3DTV-Con, Kopenhagen, Dänemark, 7.-9. Juni 2017.

"Immersive Virtual Reality for live-action video using camera arrays"

 

 

 

Matthias Ziegler, Joachim Keinert, Nina Holzer, Thorsten Wolf, Tobias Jaschke, Ron op het Veld, Faezeh Sadat Zakeri, Siegfried Foessel

IBC (International Broadcasting Convention), Amsterdam, Niederlande, 15.-19. September 2017.

"A novel confidence measure for disparity maps by pixel-wise cost function analysis"

 

 

 

Ron Op het Veld, Tobias Jaschke, Michel Bätz, Luca Palmieri (Department of Computer Science, Universität zu Kiel), Joachim Keinert

 

ICIP (International Conference on Image Processing), Athen, Griechenland, 7.-10. Oktober 2018.

"Benchmarking of several disparity estimation algorithms for light field processing"

 

 

 

Faezeh Sadat Zakeri, Michel Bätz, Tobias Jaschke, Joachim Keinert, Alexandra Chuchvara

 

Fourteenth International Conference on Quality Control by Artificial Vision, Mulhouse, France, 15.-17. Mai 2019.

"Non-Planar Inside-Out Dense Light-Field Dataset and Reconstruction Pipeline"

 

 

 

Faezeh Sadat Zakeri, Ahmed Durmush (3D Media Group, Tampere University, Tampere, Finland), Matthias Ziegler, Michel Bätz, and Joachim Keinert

 

IEEE International Conference on Image Processing (ICIP), Taipei, Taiwan, 22.-25. September 2019.

"Learning to Predict Image-based Rendering Artifacts with Respect to a Hidden Reference Image"

 

 

Mojtaba Bemana (MPI Informatik), Joachim Keinert, Karol Myszkowski, Michel Bätz, Matthias Ziegler, Hans-Peter Seidel (MPI Informatik), Tobias Ritschel (University College London)

 

 

 

Mehr Informationen

Statische non-planare Lichtfeldaufnahmen als Download

Sie haben Interesse an Lichtfeldaufnahmen?
Das Fraunhofer IIS bietet einen Lichtfeld Datensatz zum Download an, basierend auf dem Paper "Non-planar inside-out dense light-field dataset and reconstruction pipeline".

Statische planare Lichtfeldaufnahmen als Download

Sie haben Interesse an Lichtfeldaufnahmen?
Das Fraunhofer IIS bietet einen Lichtfeld Datensatz zum Download an.

Zurück zu Forschung im Feld Bewegtbildtechnologien