Virtuelle Agenda für die Zukunft

Die rasante Entwicklung der Technologie schafft neue Wege des Geschichtenerzählens, indem sie traditionelle Erzählungen in etwas Interaktiveres und Multisensorisches verwandelt.

Beobachtet werden kann dies beispielsweise in Sinnesgeschichten, eine Reihe von Stücken, die derzeit im ausgestellt werden Museum des Film in New York bis zum 26. Juli 2015. Alle Stücke fesseln die Besucher durch Virtual Reality (VR)-Erlebnisse, interaktive Filme, partizipative Installationen und spekulative Schnittstellen durch Sehen, Hören, Fühlen und Riechen.

Vogelhaft lässt einen um Manhattans Gebäude herumfliegen und gibt dem Betrachter die Kontrolle, sich durch den Bezirk zu manövrieren; Evolution of Verse ist ein Film, der es den Zuschauern ermöglicht, über kilometerlange Seen und Berge zu schweben; Herders und Clouds over Sidra sind kurze Dokumentarfilme, deren Charaktere im Gegensatz zu Darstellern wie echte Menschen wirken; Hidden Stories umfasst eine Reihe von Objekten an der Museumswand mit Sensoren, die Audio auf den Objekten enthüllen – Zuhörer können sogar ihre eigenen „Schnipsel“ aufnehmen. Eine Liste aller Stücke finden Sie auf der Webseite des Museums.

Vogelhaft (Bild: Thanassi Karageoriou, Museum des bewegten Bildes)

Versteckte Geschichten (Bild: Thanassi Karageoriou, Museum des bewegten Bildes)

Charlie Melcher, Gründer und Präsident von Melcher Medien und für Zukunft des Geschichtenerzählens, untersucht diesen technologischen Wandel vom passiven Lesen von Geschichten aus Text zu etwas Aktiverem und Virtuellerem. In einem Kabelgebunden Artikel erklärt Melcher: „Wir verlassen dieses durch das Alphabet definierte Zeitalter. … Wir sind dabei, uns buchstäblich von einem Alphabet-Geist in einen vernetzten Geist zu verwandeln, der mehr auf Verbindungen zwischen Dingen als auf Hierarchien basiert.“

Vom Text zur Szene

Laut Rouhizadeh et al., überbrücken die Fachleute und Forscher von heute die Kluft zwischen Sprache, Grafik und Wissen, indem sie Text in „eine neue Art semantischer Repräsentation“ umwandeln – d. h. in eine virtuelle dreidimensionale Szene.

Eine dieser Bemühungen wird durch die manifestiert MUSE Project (Machine Understanding for Interactive StorytElling), das eine Übersetzungssystem Texte in dreidimensionale virtuelle Welten zu verwandeln. Genauer gesagt würde dieses in der Entwicklung befindliche System funktionieren, indem es die Sprache eines gegebenen Textes verarbeitet und ihn in Aktionen, Charaktere, Situationen, Handlungen, Einstellungen und Objekte umwandelt, die in virtuellen dreidimensionalen Welten konfiguriert sind, „in denen der Benutzer kann Erkunden Sie den Text durch Interaktion, Nachstellung und geführtes Spiel“.

Bisher haben Prof. Dr. Marie-Francine Moens – Koordinatorin dieses Projekts – und ihr Team erfolgreich ein System geschaffen, das Texte in Bezug auf semantische Rollen in Sätzen (wer, was, wo, wann und wie) räumlich verarbeiten kann Beziehungen zwischen Objekten und Chronologie von Ereignissen.

Darüber hinaus hat dieses von der Europäischen Union finanzierte Projekt auch mit Kindergeschichten und Materialien zur Patientenaufklärung experimentiert, „um natürlichsprachliche Äußerungen in Anweisungen in einer grafischen Welt zu übersetzen“. Eine Videodemonstration des Projekts finden Sie auf ihrer Website.

In einem CORDIS (Community Research and Development Information Service) Ankündigung, enthüllt das Team seine Pläne, diese Text-to-Scene-Technologie auf den Markt zu bringen und der Öffentlichkeit kommerziell zur Verfügung zu stellen.

Der Text-to-Scene-Trend

Andere aufstrebende Systeme ziehen nach und wandeln Texte in grafische Welten um, um auf den Markt zu kommen.

Zum Beispiel eine Webanwendung namens WordsEye ermöglicht es Benutzern auch, dreidimensionale Szenen aus einfachen Textbeschreibungen zu erstellen, eine Aktion, die sie als "Bild eingeben" bezeichnen. Diese Beschreibungen bestehen nicht nur aus räumlichen Beziehungen, sondern auch aus ausgeführten Handlungen. Programme wie WordsEye machen das Erstellen dreidimensionaler Grafiken mühelos, unmittelbar und weniger zeitaufwändig und erfordern keine besonderen Fähigkeiten oder Schulungen. Bob Coyne von der Columbia University und Richard Sproat von der Oregon Health and Science University berichten dass „es eine gewisse Magie darin hat, zu sehen, wie die eigenen Worte in Bilder verwandelt werden“, wenn man eine solche Software verwendet.

Ebenso Immersiv lernen hilft beim Sprachenlernen mit VR durch „[Generieren] von Szenenbeschreibungen und Textübersetzungen“ von realen Umgebungen. Laut dem Mitbegründer, Tony Diepenbrock, der mit sprach Gizmag, Um eine Fremdsprache in einem vernünftigen Zeitrahmen fließend zu beherrschen, muss man vollständig in sie eintauchen. Diepenbrock drückte den Kampf des amerikanischen Schulsystems um das Erlernen von Sprachen aus: „Ich habe 12 Jahre lang Französisch studiert, aber wenn ich versuchte, es im Land zu sprechen, antworteten mir Ausländer oft auf Englisch. … Sie müssen in Situationen eintauchen, in denen Sie herausfinden müssen, was Sie sagen sollen.“ Learn Immersive löst dieses Problem, indem es Benutzer in Umgebungen transportiert, in denen Sprachen muttersprachlich sind und vorherrschen.

Immersiv lernen (Bild: Panoptische Gruppe)