Виртуальная повестка дня на будущее

Быстрое развитие технологий создает новые способы повествования, превращая традиционные повествования в нечто более интерактивное и мультисенсорное.

Это можно наблюдать, например, в Сенсорные истории, серия произведений, которые в настоящее время выставлены в Музей движущихся образов в Нью-Йорке до 26 июля 2015 года. Все экспонаты привлекают посетителей зрением, слухом, осязанием и обонянием с помощью опыта виртуальной реальности (VR), интерактивных фильмов, интерактивных инсталляций и спекулятивных интерфейсов.

Birdly позволяет летать вокруг зданий Манхэттена, давая зрителю возможность маневрировать по району; «Эволюция стихов» — это фильм, который позволяет зрителям проплыть мили над озерами и горами; «Пастухи» и «Облака над Сидрой» — короткие документальные фильмы, персонажи которых кажутся реальными людьми, а не исполнителями; «Скрытые истории» включает в себя серию объектов на стене музея с датчиками, которые обнаруживают звук на объектах — слушатели могут даже записывать свои собственные «фрагменты». Список всех произведений можно найти на сайт музея.

Birdly (Изображение: Танасси Карагеориу, Музей движущегося изображения)

Скрытые истории (Изображение: Танасси Карагеориу, Музей движущегося изображения)

Чарли Мелчер, основатель и президент Мелчер Медиа и Будущее сторителлинга, исследует этот технологический переход от пассивного чтения историй из текста к чему-то более активному и виртуальному. В Проводная В статье Мельчер объясняет, что «мы покидаем этот век, определяемый алфавитом. … Мы находимся в процессе буквального преобразования разума из алфавита в сетевой, который больше основан на связях между вещами, а не на иерархиях».

От текста к сцене

По  Рухизаде и др., современные профессионалы и исследователи преодолевают разрыв между языком, графикой и знаниями, преобразуя текст в «новый тип семантического представления», то есть в виртуальную трехмерную сцену.

Одним из таких усилий является MUSE Проект (Machine Understanding for Interactive StorytElling), в рамках которого разрабатывается система перевода преобразовывать тексты в трехмерные виртуальные миры. В частности, эта разрабатываемая система будет работать, обрабатывая язык заданного текста и превращая его в действия, персонажей, ситуации, сюжеты, настройки и объекты, сконфигурированные в виртуальных трехмерных мирах, «в которых пользователь может исследовать текст посредством взаимодействия, воспроизведения и управляемой игры».

К настоящему времени профессор доктор Мари-Франсин Моэнс – координатор этого проекта – и ее команда успешно создали систему, способную обрабатывать тексты с точки зрения семантических ролей в предложениях (кто, что, где, когда и как), пространственных отношения между объектами и хронология событий.

Кроме того, в рамках этого проекта, финансируемого Европейским союзом, также проводились эксперименты с детскими рассказами и обучающими материалами для пациентов, «перевожу высказывания на естественном языке в инструкции в графическом мире». Видеодемонстрацию проекта можно найти на их сайте.

В CORDIS (Информационная служба общественных исследований и разработок) объявление, команда рассказывает о своих планах вывести эту технологию преобразования текста в сцену на рынок и сделать ее коммерчески доступной для широкой публики.

Тенденция преобразования текста в сцену

Другие многообещающие системы следуют их примеру, преобразовывая тексты в графические миры в надежде выйти на рынок.

Например, веб-приложение под названием WordsEye также позволяет пользователям создавать трехмерные сцены из основных текстовых описаний, действие, которое они называют «напечатать изображение». Эти описания состоят не только из пространственных отношений, но и из совершаемых действий. Такие программы, как WordsEye, позволяют создавать трехмерную графику легко, быстро и с меньшими затратами времени, не требуя специальных навыков или обучения. Боб Койн из Колумбийского университета и Ричард Спроут из Орегонского университета здоровья и науки отчету что «есть определенное волшебство в том, чтобы видеть, как слова превращаются в картинки» с помощью такого программного обеспечения.

Кроме того, Учитесь иммерсивно помогает преподавать языки с помощью VR, «[генерируя] описания сцен и текстовые переводы» реальных сред. По словам соучредителя Тони Дипенброка, который говорил с Gizmag, чтобы в разумные сроки овладеть иностранным языком, нужно полностью в него погрузиться. Дипенброк выразил борьбу американской школьной системы за изучение языков: «Я изучал французский язык в течение 12 лет, но когда я пытался говорить на нем в стране, иностранцы часто отвечали мне по-английски. … Вам нужно погрузиться в ситуации, когда вам нужно придумать, что сказать». Learn Immersive решает эту проблему, перенося пользователей в среду, где языки являются родными и преобладают.

Учитесь иммерсивно (Изображение: Паноптическая группа)