Lichtfänger – Filmtechnik der Zukunft

Die Dreharbeiten sind beendet. Beim Nachbearbeiten des Materials fallen nun unbemerkte Fehlentscheidungen auf. Dank Lichtfeldverarbeitung jedoch kein Problem. Sie bietet neue Wege für die Filmproduktion und ermöglicht die Korrektur von Szenen.

 

Die Szene ist im Kasten. Die Filmcrew hat ihre Kameras, Schienen, Scheinwerfer, Monitore bereits eingepackt. Die Schauspieler sind bereits am nächsten Set. Alle Takes sind sicher auf digitalen Datenträgern abgespeichert und stehen für die Nachbereitung und den Schnitt bereit. Regisseur und Kameramann sichten das Material und wählen die Szenen zusammen mit der Cutterin für den ersten Rohschnitt aus. Genau hier kommt nun im Nachhinein zu Tage, was zwar akribisch geplant wurde, doch in der Ruhe des Screening-Raums und in der Postproduktion noch einmal zu Zweifeln führt. Hatte die Kamerafahrt wirklich den korrekten Verlauf, waren nicht unbemerkt Wackler, Unschärfen am Werk, die nicht in die Endfassung einfließen sollen? Mit einer oder zwei Kameras heißt dies häufig: Nichts kann mehr geändert werden – alles andere wäre zu aufwändig und zu teuer.

Auch nach dem Dreh sind noch Veränderungen möglich.

Genau hier greift eine neue Art der Aufnahmetechnik und vor allem der Postproduktion – die so genannte »Lichtfeldtechnologie«. Sie macht es möglich, dank einer Vielzahl von verschiedenen Perspektiven, die mit Mehrkamerasystemen am Set aufgenommen werden, Szenenabläufe zu verändern und kreativ anzupassen. So können beispielsweise der Blickwinkel auf eine Szene verändert werden, die Tiefenschärfe verlagert werden oder Effekte wie virtuelle Kamerafahrten im Nachhinein integriert werden. So, wie es bereits seit Jahren gang und gäbe in den Studios für computergenerierte Szenen ist. In der Abteilung Bewegtbildtechnologien des Fraunhofer IIS arbeiten seit mehreren Jahren Wissenschaftler an der Anwendung der Lichtfeldtechnologie für den Einsatz an bewegten Realfilmszenen. Den Leiter der Abteilung, Dr. Siegfried Foessel, und seinen Kollegen Dr. Frederik Zilly faszinieren dabei die technologischen wie kreativen Herausforderungen, die eine praxistaugliche Lösung bietet. »Ausgangspunkt für die Überlegungen, wie teure und aufwändige Nachdrehs vermieden und unwiederbringliche Szenen in neuen Filmversionen eingesetzt werden können, entstanden in vielen Gesprächen mit unseren Kunden und Partnern der Filmbranche in Deutschland, Europa und in Hollywood,« stellt Siegfried Foessel den Beginn der Forschungsaktivitäten dar. »Immer häufiger war der Aufwand und die meist auch unbefriedigenden Ergebnisse beim Verschmelzen von realen Szenen mit virtuellen, digitalen Effekten ein Antrieb für die Suche nach einer Lösung.« Das Team des Wissenschaftlers arbeitet bereits seit 1998 eng mit der technologischen und kreativen Seite der Filmindustrie beim Übergang zur Digitaltechnik zusammen. So stammt eine der ersten praxisreifen digitalen Filmkameras, die ARRI D20/21, aus den Laboren seiner Ingenieure, ebenso wie die international eingesetzte Postproduktionssoftware easyDCP, wie er stolz mit Blick auf die Leinwand im hauseigenen Kino erläutert.

3D als Auslöser für neue Technik

Mittlerweile werden erste produktionsreife Testversionen für Postproduktionswerkzeuge für Lichtfeld- bzw. Multikameraaufnahmen von Frederik Zilly und seinem Team vorgestellt. Der ausgebildete Physiker beschäftigt sich seit 2007 mit Kameraaufbauten für 3D- und Spezialeffekte. Er suchte nach einer Möglichkeit, möglichst effizient verschiedene Ebenen eines Bildes oder verschiedene Ansichten einer Szene miteinander zu kombinieren, um neue Szenenansichten zu schaffen. »Für Mehrkamera-Aufnahmen sind die so genannten Tiefenkarten ausschlaggebend, die für jede Szene errechnet werden müssen. Man braucht sie, um virtuelle Ansichten in hoher Qualität generieren zu können. Diese Prozedur ist in den meisten Fällen extrem zeit- und arbeitsintensiv und birgt viele Fehlerquellen. Die Tiefenkarten sind aber unbedingte Voraussetzung für Effekte wie Fokusverlagerungen, virtuelle Kamerafahrten, Kombination von Realität und virtuellen Effekten«, erläutert er begeistert. »Heute sind am Set mehr als nur eine Haupt-Kamera im Einsatz. Diese vielfältigen Aufnahmen und Ansichten zur kreativen Arbeit in der Postproduktion zu nutzen, ist dabei der Einstieg in die Lichtfeldtechnologie und Lichtfeldverarbeitung.«

Lichtfeld – eine 100 Jahre alte Technik erobert die Filmsets des 21. Jahrhunderts

Das Verfahren, alle Lichtstrahlen einer Szene aufzunehmen und nicht nur diejenigen, die auf die Linse der Hauptkamera treffen, ist vom Ansatz nicht neu – nur erst dank digitaler und synchronisierbarer Technik umsetzbar. Mit Lichtfeld beschäftigte sich bereits seit 1908 der französische Wissenschaftler Gabriel Lippman. »Rein mathematisch definiert man ein Lichtfeld durch eine Funktion, welche die Lichtmenge beschreibt, die an jedem Punkt des dreidimensionalen Raums in alle Richtungen fällt,« erläutert Frederik Zilly die Grundlagen mit dem Blick auf Graphen und Punktewolken auf seinen Büromonitoren. »Mit den sich gerade im hochauflösenden 3D-Bereich stark verbreitenden autostereoskopischen Monitoren, die das Betrachten von 3D-Filmen ohne Brille möglich machen, ist es notwendig, extrem viele Ansichten einer Szene zu erzeugen – je mehr, desto besser. Je vollständiger die Anzahl an Ansichten ist, umso eher kann sich eine Person vor dem Bildschirm beliebig bewegen, ohne dass Ansichten fehlen und der Eindruck von Unschärfe entsteht.«

© Fraunhofer IIS/David Hartfiel
Die Technologie des Fraunhofer IIS speichert die gesamte Lichtinformation einer Szene, wie hier im Bild symbolisch mit dem Lichtfänger dargestellt.
Programmpaket zur Postproduktion von Lichtfeldaufnahmen: Die lizenzierbare Plug-in Suite für NUKE bietet die Erstellung von Tiefenkarten u. a. zur Berechnung von virtuellen Kamerafahrten oder zur tiefenabhängigen Farbgestaltung.

Ausgehend von diesen Erfahrungen wurden Ergebnisse auch für den Dreh von Realfilmszenen angewendet. Frederik Zilly zeigt dabei in seinem Studio auf eine Miniszene mit Legofiguren, die für Stop-Motion-Filme dient. Das Stativ mit 16 HD-Kameras auf dem Stativ in einer 4x4-Anordnung bewegt sich dabei nicht. Nach einem Vorverarbeitungsschritt zur Synchronisierung der Kameras werden zunächst alle 16 Einzelaufnahmen gesichtet, miteinander verrechnet, Zwischenansichten generiert und ein Farbabgleich der Szenen durchgeführt. Eingebettet in ein professionelles Postproduktionswerkzeug erscheinen nun verschieden einstellbare Effekte über ein Plug-in.

»BESONDERER CLOU IST DIE VERÄNDERUNG DER PERSPEKTIVE.«

Zilly zeigt, wie er mit wenigen Handgriffen, hinter denen sich in Wirklichkeit eine Vielzahl an ausgeklügelten Algorithmen verbergen, die Schärfe von vorne nach hinten verlagern kann, ohne an den Einstellungen der Objektive irgendetwas umzustellen. Besonderer Clou, so erläutert er, ist die Veränderung der Perspektive. Herkömmliche Postproduktionssoftware vergrößert hier meist nur den Ausschnitt, um eine virtuelle Kamerafahrt zu simulieren. Die Software des Fraunhofer IIS dagegen errechnet aus den vielfältigen Ansichten eine reale Parallaxe, so dass der Eindruck einer echten Kamerafahrt entsteht. Dies ist besonders für Situationen wichtig, bei denen sich Objekte oder Personen nah am Betrachter vorbeibewegen. Konkretes Filmbeispiel: Ein Autofahrer beobachtet beim Vorbeifahren einen Fußgänger auf dem nahen Gehweg. Wird hier nicht die »real-anmutende« Positionsänderung des Fußgängers verwendet, wenn der Autofahrer seine eigene Position im Vorbeifahren verändert, empfinden wir die Situation als verstörend und nicht realitätsnah. Insbesondere diese Möglichkeiten und Effekte machen die Lichtfeldtechnologie auch für Produktionen interessant, die heute mit Green Screen aufwändige Szenen bereits vorab aufzeichnen und dann wieder verwenden. Mit dem Lichtfeldverfahren können vorproduzierte Szenen direkt an die Aufnahmen vor dem Green Screen angepasst werden. Dies geschieht heute nur mit weit entfernten Szenen, um die störenden Effekte möglichst gering zu halten. Mit Lichtfeldtechnologie und intelligenter Algorithmik ist auch eine Auswahl an Szenen im Nahbereich möglich.

Erster Pilotclip zusammen mit der Hochschule der Medien

Zusammen mit der Hochschule der Medien HdM in Stuttgart hat sich Frederik Zilly bereits an echte Pilotproduktionen gewagt. Zusammen mit den Studenten wurde mit einem Kameraaufbau aus neun HD-Kameras und einer hochauflösenden Kinokamera auf einem Spiegelrig ein Pilot-Clip aufgenommen. Die Verarbeitung der Szenen und die Postproduktion erfolgten im Nachhinein mit den von Frederik Zilly und seinem Team entwickelten Werkzeugen. Ergebnis war der Clip »Coming Home«, der mit realen Schauspielern und diversen Spezialeffekten, mit Green-Screen-Aufnahmen sowie virtuellen Zusatzobjekten die Leistungsfähigkeit der Algorithmen hart unter Realbedingungen eines normalen Sets testete. Besondere Beachtung fand die effiziente Erstellung von Tiefenkarten, die dann den Studenten in der Postproduktion auch eine tiefenbasierte Farbkorrektur erlaubten. So konnte z. B. nur der Hintergrund der Szene in Farbe und Beleuchtung angepasst werden. Auch das Relighting – ein Schritt, der es erlaubt, auch noch im Nachhinein weitere Lichtquellen in eine Szene zu setzen oder die Beleuchtung mit allen Nebeneffekten wie Schatten, Reflexen etc. zu bearbeiten – ist mit der Lichtfeldalgorithmik möglich.

Der Blick in die Zukunft

Die Lichtfeldtechnologie und ihr Potenzial für zukünftiges filmisches Arbeiten sind enorm. Zwar steckt das Thema Lichtfeld für professionelle Bewegtbildtechnologie noch in den Kinderschuhen, dennoch beginnen auch einflussreiche Produzenten und Kameraleute sich immer stärker mit dem Thema auseinanderzusetzen. »Wir sind als einer der ersten Entwickler und Anbieter professionell nutzbarer Software auf reges Interesse gestoßen,« sagt Siegfried Foessel. »Mittlerweile fragen immer mehr Produktionen an, die gerne mit uns zusammen erste Pilotfilme erstellen möchten, um die Technik mit voranzutreiben.« Wie lange wird die erste Produktion mit Fraunhofer-Technologie noch dauern, bis wir sie dann auf dem TV-Schirm oder im Kino sehen werden? »Die Multikamera- oder Lichtfeldtechnik wird immer begleitend zu einer der Hauptkameras eingesetzt werden. Ein reiner Lichtfeld-Film ist daher eher unwahrscheinlich,« erläutert Siegfried Foessel den zukünftigen Einsatz. Sowohl Zilly als auch Foessel rechnen jedoch damit, dass das Lichtfeld sich in den nächsten drei bis fünf Jahren zu einer ernstzunehmenden neuen Verarbeitungstechnik in der Film- und TV-Produktion mausern wird. Fortsetzung folgt!