Компания Disney разрабатывает систему смешанной реальности (MR) под названием Magic Bench (Волшебная скамейка), новая система не предполагает использования гарнитуры. Садясь на такую скамейку, пользователи взаимодействуют с анимированными персонажами и могут почувствовать, как эти персонажи сели рядом, или как дождь стучит по поверхности скамьи.

Пользователь сидит на скамейке напротив большого экрана. Его положение отслеживают камера и система Microsoft Kinect. Камера и Kinect в реальном времени создают 3D-реконструкцию скамейки, сидящих на скамейке и всего, что происходит вокруг.

Под скамьёй находятся скрытые датчики, а также устройства, которые воспроизводят шумы /звуки, синхронизированные с действиями на экране, например, храп персонажа.

Чтобы устранить «тени» в областях, где камера и датчик глубины не имеют прямой видимости, специальный алгоритм создает 2D-фон. Трехмерные и 2D-реконструкции создают виртуальное пространство, заполненное 3D-персонажами и эффектами. В результате реальном времени обсчитывается бесшовная композиция с интерактивными виртуальными персонажами, светом и тенями.

«Эта платформа позволяет группе людей взаимодействовать с анимированным персонажем, - говорит Моше Малер, главный художник Disney Research. - Мантра для этого проекта была такой: услышать, что персонаж идет, увидеть, как он входит в пространство, и почувствовать, что он садится рядом».

«Сама скамья играет исключительно важную роль: она не только содержит тактильные приводы. Мы знаем местоположение и количество участников и можем определить направление их взгляда. Это задает сцену: передний план, задний план и середину. Скамья служит и «диспетчером»: действие не начинается, пока кто-то не садится, а разные конфигурации сидящих задают разные условия игры».

Disney Research комментируют: «Мы хотим оставить пользователя свободным от любого оборудования, создавая среду для беспрепятственных движений и игры. Мы демонстрируем эту технологию с человекоподобными животными. Участники могут не только видеть и слышать этих персонажей, они также могут чувствовать, что персонажи сидят на скамейке». Скамья может вибрировать, что позволяет ощутить, будто идет дождь, или будто кто-то из виртуальных зверьков сел рядом.

1.08.2017

Источники: https://www.disneyresearch.com, http://www.inavateonthenet.net/