S3D-Produktion: Virtuelle Audiovisuelle Binaurale Binokulare Studioproduktion (VABBS).
Kombination von Stereo-Video und Binaural-Audio im virtuellen Studio

Virtuelles Set

Um eine möglichst problemlose Integration des Darstellers in eine computergenerierte Umgebung zu bewerkstelligen, muss die Beschaffenheit und die Lichtstimmung des angestrebten finalen Gesamtbildes bereits vor den Realaufnahmen geklärt sein. Dementsprechend sind das Aussehen und die Beleuchtung der computergenerierten Umgebung umzusetzen. Wichtige Fragen, die hierbei geklärt werden müssen sind beispielsweise:

1. Findet die Einstellung im Freien oder in einem Raum statt?
2. Herrscht dementsprechend natürliches oder künstliches Licht vor?
3. Zu welcher Tages- bzw. Nachtzeit spielt die Einstellung (Schatten)?
4. Findet eine Interaktion zwischen Real- und CG-Elementen statt?

Das oberste Ziel besteht letztendlich darin, das CG-Set unter exakt denselben stereoskopischen Gesichtspunkten zu generieren, unter denen auch die Realaufnahmen gedreht wurden. Um dies zu erreichen, müssen die festgehaltenen Kameradaten des Realdrehs (v.a. Brennweite, Blende, Aufnahmeformat, Kamerapositionen und -ausrichtungen) in die virtuellen Kameras der 3D-Software übernommen werden.

Dazu muss ein entsprechendes Importmodul entwickelt werden, welches den exakten Bewegungspfad der Realkamera im virtuellen Raum simuliert. Anschließend erfolgte die maßstabsgetreue Modellierung der Szene unter Berücksichtigung der gespeicherten Beleuchtungsinformationen vom Realdreh.

Dabei ist jedoch zu beachten, dass die Geometriedaten des finalen Szenenmodells als Grundlage für die Erstellung der Audiosimulation dienen. Das bedeutet beispielsweise, dass Räume in Gänze gebaut werden müssen um eine korrekte Schallausbreitung zu simulieren.

Postproduktion & Compositing

Da bei einer stereoskopischen Produktion deutlich mehr potentielle Fehlerquellen existieren als dies bei 2D-Drehs der Fall ist, werden vermehrt korrigierende Eingriffe in der Postproduktion notwendig.

Zu den typischen Aufgaben der Postproduktion gehört dementsprechend die Korrektur der häufigsten S3D-Produktionsfehler:

1. Bildversatzfehler: Vertikaler oder inkonsistenter horizontaler Versatz der Stereokameras und unterschiedliche Winkelversätze der Stereokameras
2. (Einseitige) Abbildungsfehler aufgrund unterschiedlicher Abbildungsleistungen der Objektive: Sphärische Aberration, Verzeichnung, Astigmatismus, Chromatische Aberration, Vignettierung, Farb-, Helligkeits- und Kontrastunterschiede, Perspektivische Verzerrungen.
3. (Einseitige) Abbildungsfehler aufgrund unterschiedlicher Kameraparameter (Shutter, Gain, Gamma, Whitebalance, Crispening, Schwarzwert)
4. Einseitige Bildstörungen: Einseitige Spiegelungen in Objektiven und optischem Zubehör
5. Unruhige, ruckartige Kamerabewegungen oder unstabiler Bildstand

Das digitale Compositing umfasst die Manipulation und das Zusammenfügen von einzelnen 2D-Bildelementen zu einem stimmigen, natürlichen und homogenen Gesamtbild. Das Prinzip des digitalen Compositing besteht darin, die einzelnen 2D-Bildelemente in Ebenen übereinander zu schichten und dabei bestimmte Bildteile mittels Masken transparent zu machen, so dass Bildteile auf tiefer liegenden Ebenen sichtbar werden.

Da bei Compositing mehrere unterschiedliche Elemente (real gedrehter Vordergrund und virtueller Hintergrund) zu einem stimmigen Stereo-3D-Bild zusammengesetzt werden sollen, müssen die beiden Ansichten jedes einzelnen Layers entsprechend der gewünschten Tiefe ausgerichtet werden. Dabei ist unbedingt darauf zu achten, dass Manipulationen oder Animationen in beiden Ansichten absolut synchron durchgeführt werden.

Die einzelnen Ansichten des Stereobildpaares müssen schlussendlich zu einem finalen Stereosignal kombiniert werden. Dazu muss ein geeignetes Format gewählt, das Audiosignal synchronisiert und eine entsprechende Ausspielsoftware implementiert werden.

Stereo-Postproduktion

Dieser Postproduktionsschritt lässt sich nicht immer strikt von den übrigen Bearbeitungsschritten trennen. Vielmehr können bereits an anderen Stellen stereotypische Anpassungen erforderlich sein.

Neben der Korrektur von Aufnahme- und Abbildungsfehlern besteht die Hauptaufgabe der Stereo-Postproduktion darin, einen für den Zuschauer angenehmen Bildeindruck sicherzustellen und eine korrekte Tiefenwahrnehmung zu garantieren. Dazu gehört die Einstellung einer dem Projektionsmedium und der Story angepassten absoluten und relativen Parallaxe (Depth Grading) und die Kontrolle der maximal möglichen Tiefenwirkung.

Ein weiterer wichtiger Arbeitsschritt ist das sogenannte "Stereo-Sweetening" der finalen Stereobilder. Dabei handelt es sich um eine nochmalige spezielle zeitliche und geometrische Bildanpassung (Veredelung) in Kombination mit einem Stereo Colour Grading.

Audiosimulation

Die angewandte akustische Simulation beruht auf der geometrischen Raumakustik. Schallwellen werden als Schallstrahlen dargestellt, die an Begrenzungsflächen, seinen es Wände oder Objekte im Raum, eine Reflexion, Absorption, bzw. Transmission erfahren. Die Reflexion wird dabei komplex simuliert, es gibt spiegelnde und diffuse Reflexionen.

Prinzipiell gilt eine raumakustische Simulation nur für eine feste Quell- und Senkenposition. In gewissen Maße kann zwischen verschiedenen Simulationen, bei den sich der Ort der Quelle nicht stark ändert, überblendet bzw. interpoliert werden.

Im ersten Schritt wird anhand einer Analyse der Translationspfade der Schallquellen eine Joblist mit durchzuführenden Simulationen erzeugt. Das Ergebnis dieser Simulationen sind komplexe Strahlengänge für jede Quelle und Quellposition.

Im zweiten Schritt wird die Kamera als Hörerort im virtuellen Raum mit diesen Strahlengängen platziert und die einfallende Schallenergie in Abhängigkeit der Zeit und Richtung bei Annahme einer omnidirektionalen Quelle und Senke bestimmt. Hierbei werden auf die Rotationspfade untersucht. Die Ausrichtung der Schallquellen und damit deren Rotation der Richtcharakteristik haben Einfluss auf die ausgesandte und letztendlich empfangene Schallenergie.

Im dritten Schritt wird nun auch die Ausrichtung der Kamera berücksichtigt und damit die binaurale Raumimpulsantwort (BRIR) erzeugt. Dies geschieht für alle Quell-Senken-Beziehungen. Das Ergebnis des Simulationsprozesses ist eine Timeline die mit den entsprechende gültigen BRIRs, die dem Audiorendering übermittelt werden.

Distribution

Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Nulla orci. Morbi ligula. Donec ligula. Ut ullamcorper. Cras arcu arcu, convallis non, dignissim ornare, aliquam ut, magna. Donec interdum. Nam tempor porttitor erat. Sed velit. Donec ac purus varius dui feugiat hendrerit. Suspendisse id erat. Aliquam non nulla ut augue feugiat commodo. Proin mi diam, bibendum at, laoreet nec, malesuada at, dui. Donec scelerisque varius odio.

Class aptent taciti sociosqu ad litora torquent per conubia nostra, per inceptos hymenaeos. Aliquam vel massa ut dolor faucibus tempor. Donec sapien est, scelerisque at, iaculis vel, fringilla rutrum, sem. Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Sed nisl metus, molestie quis, tempor eu, ultricies ut, dui. Nunc dictum mi ac dui. Suspendisse felis quam, pharetra quis, vestibulum id, eleifend in, lorem. Cras pulvinar tristique enim. Quisque accumsan rhoncus nisi. Maecenas tincidunt gravida eros. Donec aliquam.

Screening, Rezeption, Qualitätsbeurteilung

Innerhalb des VABBS-Projektes werden zur Darstellung der generierten Stereobilder stereoskopische Displays oder Projektoren in Verbindung mit Shutter- oder Polarisationsbrillen verwendet (aided viewing). Autostereoskopische Technologien finden in den ersten Projektabschnitten zunächst keine Beachtung.

Neben der Auswahl der geeigneten Betrachtungstechnologie und der Abstimmung und Anpassung der Stereobilder auf die finale Darstellungsgröße muss auch eine Evaluationsmethodik zur Beurteilung der subjektiven Wahrnehmungsqualität der dreidimensionalen audiovisuellen Illusion erarbeitet werden.

Audiorendering + CTC

Das Rendering für die binaurale Wiedergabe hat das Ziel, Tonaufnahmen räumlich korrekt hörbar zu machen. Den Ohren eines Hörers sollen die gleichen Audiosignale zugeführt werden, die man auch in einer realen Situation, z.B. im Konzert, hören würde.

Um dies zu realisieren, können zum einen binaurale Aufnahmen mit Hilfe eines Kunstkopfes aufgezeichnet werden. Kunstköpfe haben Mikrofone anstatt von Trommelfellen in den Ohren. Daher können Schallsignale so aufgenommen werden, wie wir sie auch als Menschen hören. Zum anderen können die in einer Raumsimulation entstanden binauralen Raumimpulsantworten verwendet werden. Im Rendering für das jeweilige Wiedergabesystem werden diese Impulsantworten mit den trockenen Audiosignalen der Schallquellen gefaltet. Es entstehen die korrekten binauralen Signale (Ohrsignale) für den Zuhörer. Diese Signale können über Kopfhörer oder Lautsprecher wiedergegeben werden.

Datacapturing

In diesem Arbeitsschritt werden alle für den weiteren (Post-)Produktionsprozess notwendigen Daten erfasst und in geeigneten Datenformaten abgespeichert. Dazu gehören insbesondere die Beleuchtungssituation am Set, Stereobasis, Scheinfensterweite, Kamerahöhe und Kamerawinkel, sowie alle technischen Kameradaten (z.B. Brennweite, Blende und Verschlußzeiten).

Darüber hinaus werden alle Abstände der Schauspieler und der Szenenobjekte zur Kamera vermessen und registriert. Dabei ist selbstverständlich die exakte Verknüpfung der Daten mit den entsprechenden Videoframes sicherzustellen. Diese Daten müssen später in der 3D-Software beim Bau des CGI-Sets für die virtuelle Kamera übernommen werden..

Trackingkalkulation

Kernstück des virtuellen Studios ist das Trackingsystem, das die Position des aufzeichnenden Stereokamerapaares berechnet. Diese Daten werden zur Berechnung der Perspektive für den virtuellen Hintergrund, sowie zur Bestimmung der Hörer-Position für die raumakustische Simulation genutzt. Weiterhin dienen sie als Bezugspunkt zur Bestimmung der Position der realen Schallquellen. Die Berechnung der Trackingdaten basiert auf photogrammetrischen Betrachtungen des Stereokamerabildes, ggf. mit Stützdaten aus einer Inertialsensoreinheit. Damit ist ein integriertes Aufnahmesystem ohne aufwändige externe Installationen realisierbar.

Die photogrammetrischen Berechnungen der Kameraposition benötigen für optimale Resultate hervorragend abgeglichenes Bildmaterial. Dazu muss die Rektifizierung der Kamerabilder erfolgen, um stereoskopische Zusammenhänge optimal nutzen zu können. Darüber hinaus ist die Bestimmung der inneren Kameraparameter für die metrische Berechnung der Kameraposition aus dem Kamerabild unerlässlich. Diese Parameter werden in einem Kalibrierschritt ebenfalls auf Basis der Videodaten berechnet.

Die Bestimmung der Position der realen Schallquellen zur späteren raumakustische Simulation soll ebenfalls auf Basis der Videobilder erfolgen. Dem gewählten Produktionsszenario entsprechend, wird zunächst nur der Kopf des Moderators berücksichtigt. Mittels Gesichtsdetektion wird dessen Position im Videobild verfolgt. Die Entfernung zur Kamera wird mittels Disparitätsanalyse des Stereobildpaares gewonnen. Unter Berücksichtigung der Position der Kamera im Raum kann so die absolute Position des Sprechers bestimmt werden.

Videocapturing

Da eine verlustbehaftete Videokompression aufgrund der reduzierte Bildinformation immer zu erheblichen Problemen in der Postproduktion führt (vor allem beim Keying-Prozess und beim Color Grading), sollte für die Arbeit an Stereomaterial nach Möglichkeit durchgehend unkomprimiertes Ausgangsmaterial im Vollbildverfahren angestrebt werden.
In Kombination mit zwei aufzeichnenden Kameras ergibt sich daraus eine nicht unerhebliche Datenmenge die fehlerfrei (ohne dropped frames) aufgezeichnet werden muss. Aus diesem Grund wurde in unsere Produktionspipeline ein RAID-System integriert, auf das mit bis zu 1000 MB/Sekunde geschrieben werden kann.
Die Bilder der rechten und linken Videospur müssen dabei selbstverständlich immer präzise synchronisiert aufgezeichnet werden, da sonst eine stereoskopische Wiedergabe nicht funktionieren kann.

Stereokameras auf Stereorig

Die stereoskopische Videoaufzeichnung im Studio dient der Aufnahme der realen Bildkomponente, welche später im Compositing mit computergenerierten Hintergründen zum fertigen Bild kombiniert wird. Ziel der Aufnahme ist die Erzeugung eines optimalen Tiefeneindrucks unter Berücksichtigung des vorab festgelegten finalen Ausgabeformats (Handy, TV, Kino...).

Bei diesem Produktionsschritt sind folgende wesentliche Punkte zu beachten und durchzuführen:

1. Eine mechanische und computerkalkulierte Kamerakalibrierung, d.h. Vermeidung von vertikalem Versatz und unterschiedlichen Roll- bzw. Kippwinkel durch Wahl eines feinjustierbaren Stereo-Rigs und Abgleich von Auflösungsvermögen, Sensorlage, Brennweiten und Schärfeeinstellung der beiden Kameras.
2. Minimierung von Linsenverzerrungen und optischen Abbildungsfehlern sowie Vermeidung von perspektivische Verzerrung durch die Wahl geeigneter Objektive und Brennweiten.
3. Synchronisation der beiden Kameras zur zeitgleichen Ansteuerung von Fokus und Blende der beiden Kameras und der millisekundengenauen Taktung der Videosignale. Dieser Abgleich spielt für die Qualität der Stereokombination und der Bildverarbeitung eine weit kritischere Rolle, als dies bei herkömmlichen TV-Produktionen der Fall ist.
4. Vermeidung von Reflexionen, Polarisation und Lens Flares während der Aufnahme, da sich diese ausgesprochen negativ im finalen Stereobild bemerkbar machen können.

Stereoplanung

Neben den üblichen Set-Vorbereitungen für einen Dreh im virtuellen Studio (Einrichten einer zur später in der Postproduktion generierten Umgebung passenden Beleuchtung, Stagingplanung...) müssen für einen erfolgreichen Stereo-3D-Dreh zusätzliche Maßnahmen getroffen werden.

Da die variablen Parameter des Stereokamera-Setups für den räumlichen Eindruck und somit für das Immersionspotential des Endergebnisses ausschlaggebend sind, müssen nach Aufbau und Inbetriebnahme des Stereo-Rigs die zum Storyboard passenden Stereoparameter (Stereobasis, Brennweiten, Fokussiergrenzen, Scheinfensterweite...) bestimmt werden. Darüber hinaus muss der zulässige Aktionsradius der Schauspieler, v.a. der minimal und maximal zulässige Abstand der Darsteller zur Kamera, im virtuellen Studio bestimmt und die Schauspieler entsprechend eingewiesen werden.

Audioausgabe 1

Bei der binauralen Wiedergabe über Lautsprecher muss neben der Minimierung des Einflusses des Lautsprechers zusätzlich eine Kanaltrennung zwischen rechtem und linkem Ohr realisiert werden.
Dazu muss am Hörort eine Auslöschung der übersprechenden Signalanteile von linkem Lautsprecher auf das rechte Ohr und von rechtem Lautsprecher auf das linke Ohr erreicht werden. In die Berechnung der dazu notwendigen Kompensationsfilter fließen die Kopfposition und die Kopfpose des Hörers mit ein.

Audioausgabe 2

Bei der binauralen Wiedergabe über Kopfhörer ist die Minimierung des Einflusses des aufgesetzten Kopfhörers auf das binaurale Signal zwingend notwendig.
Eine Entzerrung des Kopfhörersystems ermöglicht eine korrekte Darbietung der Ohrsignale an den Trommelfellen des Hörers. Die Entzerrung kann dabei individuell für den Hörer oder aber als über eine Vielzahl von Hörern gemittelte Entzerrung realisiert werden.

Audiocapturing

Maecenas vehicula augue ac purus. Curabitur ac sapien. Etiam sagittis porttitor enim. Aliquam erat volutpat. Integer semper augue aliquam lacus. Quisque a tortor vitae sapien pharetra rhoncus. Nunc vehicula bibendum diam. Sed eget pede. Ut et massa at metus malesuada ullamcorper. Aliquam ultrices cursus tellus. Donec ultrices. Vivamus accumsan felis et dolor.

Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Nulla orci. Morbi ligula. Donec ligula. Ut ullamcorper. Cras arcu arcu, convallis non, dignissim ornare, aliquam ut, magna. Donec interdum. Nam tempor porttitor erat. Sed velit. Donec ac purus varius dui feugiat hendrerit. Suspendisse id erat. Aliquam non nulla ut augue feugiat commodo. Proin mi diam, bibendum at, laoreet nec, malesuada at, dui. Donec scelerisque varius odio.

Funkmikrofon

Die Aufnahme erfolgt mit einem Bügelmikrofon, welches über einen Taschensender das Signal an eine feste Empfangsstation übermittelt. Dies hat zwei Gründe. Einerseits wird dadurch die größtmögliche Bewegungsfreiheit der Darsteller gewährleistet. Andererseits darf das Audiosignal bei der Aufnahme keine akustischen Informationen des Aufnahmeraums enthalten, da später (siehe Audiosimulation, Audiorendering) die Akustik der virtuellen Szene auf das Signal aufgeprägt werden soll. Man spricht dabei von einer trockenen Aufnahme des Signals, bei der nur der Direktschall vom Mikrofon empfangen wird, welcher unabhängig von der Aufnahmeumgebung ist.

Von der Empfangsstation wird das Audiosignal zum Capture-Rechner übertragen.