Realception®

Plug-In Suite für Nuke und Unreal

Das Fraunhofer IIS hat Algorithmen für die Verarbeitung von Multikamera Inhalten, sogenannten Lichtfeldaufnahmen, entwickelt und diese in mehrere Plug-in Suiten für die Postproduktion implementiert.

Die Plug-in Suite für Foundrys Nuke ist mit mehreren Skripten und Verbindungen erhältlich, die die Herstellung von Tiefenkarten aus Multikameraaufnahmen ermöglichen. Diese Disparitätskarten können beim Compositing verwendet werden, um Korrekturen oder anspruchvollere Effekte, wie virtuelle Kamerabewegungen oder das synthetische Defokussieren zu vereinfachen.

Die Plug-in Suite für die Unreal Engine hingegen ermöglicht das Rendern von Lichtfeldaufnahmen in VR-Umgebungen für eine nahtlose Komposition aus CGI und live-action Material in Echtzeit.


Hier können Sie mehr über die Lichtfeldtechnologie erfahren:

Realception® Plug-in Suite für Foundrys Nuke

Fraunhofer IIS bietet ein Reihe an Nachbearbeitungstools für die Arbeit mit Lichtfelddaten in der professionellen Nuke-Umgebung.

Screenshot Nuke Cleopatra

Realception® basiert auf der Verarbeitung von Bilddaten aus Lichtfeld- oder Multikameraaufnahmen. Das Ergebnis ist eine so genannte Disparitätskarte – eine Darstellung der Entfernung von zwei korrespondierenden Punkten in benachbarten Bildern. Mit diesem tief gehenden Verständnis der aufgenommenen Szene eröffnen sich viele neue Möglichkeiten für die Manipulation von Bildern bei der Nachbearbeitung.

Die von Fraunhofer entwickelten Algorithmen bieten eine große Auswahl an Features für die Bearbeitung, wie etwa:

  • Anwendbar für mono-, stereo- und VR- Inhalte
  • Erstellung von Tiefenkarten für visuelle Effekte (VFX)
  • Optimierte Algorithmen für Multikamera und Lichtfeld Nachbearbeitung
  • Auswahl von Position, Orientierung und Fokuspunkt
  • Tiefenbasierte Farbkorrektur
  • Erstellung von 6DoF live-action Inhalten für Virtual und Mixed Reality
  • Erstellung von Punktwolken
  • Wiederbeleuchtung von Objekten in Szenen

Die Plug-in Suite ist auf Nachfrage für professionelle Pilotbenutzer erhältlich.

Realception® Tutorial "Rektifikation"

In diesem Video wird der Rektifikationsprozess des Realception® Plug-Ins erklärt. Das Ziel ist dabei, eine vertikale und horizontale Ausrichtung des Videomaterials zu erreichen, was die Grundlage für die weitere Bildverarbeitung und Computational Imaging darstellt.

Hinweis: Beim Abspielen des Videos werden Daten an vimeo übertragen..

Realception® Plug-in für die Unreal Engine

Realception® für die Unreal Engine ermöglicht die Echtzeitwiedergabe von Live Action Video Lichtfeldern in VR Welten auf Head-Mounted Displays. Hauptsächlich soll dadurch eine windowed 6DoF Erfahrung ermöglicht werden mit einer Mischung aus Live Action Material und VR Material.

Realception® für die Unreal Engine importiert Lichtfelder, die von Realception® für Foundrys Nuke erstellt wurden. Durch die Aufnahme des Materials mit einem Kamera Array vor einem Green Screen kann das nahtlose Zusammenspiel zwischen Live Action Material und CGI Elementen gewährleistet werden und die korrekte Perspektive sowie ein guter Tiefeneindruck bei der Wiedergabe auf einem Head-Mounted Display gesichert werden.

Aufgrund der Verwendung von Lichtfeldtechnologie bietet Realception® für die Unreal Engine folgende Vorteile:

  • Echtzeitwiedergabe von Live Action Videos ohne die Konvertierung in 3D Geometriemodelle
  • Qualitätssicherung des originalen Materials durch pixelbasiertes Render
  • Unterstützung komplexer Szenen mit vielen Okklusionen
  • Interaktion zwischen Schauspielern und Objekten über Tiefenschichten hinweg

Realception® für die Unreal Engine ist für professionelle Pilotnutzer auf Anfrage erhältlich.