Разработка тренажерного комплекса « Виртуальная шахта » на базе платформы Microsoft Kinect к. т. н., доц. каф ПМИ Бабков В. С. - презентация

1 Разработка тренажерного комплекса « Виртуальная шахта » на базе платформы Microsoft Kinect к. т. н., доц. каф ПМИ Бабков В. С.

2 Актуальность Угольные шахты – сложное производство с высокой степенью аварийности и опасности Частая причина аварий - « человеческий фактор »

3 Актуальность Обучение персонала правилам проведения работ, правилам поведения в аварийных ситуациях, навыкам работы с оборудованием должно быть максимально наглядным и реалистичным

4 Тренажерные системы Варианты решения : - обучение на реальном объекте ; - обучение на учебном объекте ( опытная или учебная шахта ) - наглядные пособия ( альбомы, видеоролики ) - компьютерные модели ( интерактивные и неинтерактивные )

5 Тренажерные системы Недостаток обычных компьютерных моделей – низкий уровень реалистичности : - модель воспринимается как игровой мир, а не реальная среда - низкая степень проникновения в виртуальное пространство ;

6 1. Подсистема ввода 2. Модель на основе реальных данных 3. Игровой движок

7 Проблема 1 Решение – платформа Microsoft Kinect

8 Проблема 1 Платформа предоставляет - Фиксацию объектов класса « человек » в области видимости - Отделение объектов от фона и друг от друга - Сопровождение (tracking) перемещения - Скелетизацию объектов

9 Проблема 1

10 Средства для работы с Kinect: Open NI SDKMicrosoft SDK ?

11 Проблема 2 Варианты решения 1. Строить модель вручную (3D Studio, AutoCAD, Blender, …) 2. Строить модель в автоматизированном режиме

12 Проблема 2

13

14 Проблема 3 Варианты решения ( игровые движки ): GameBlander ORGE Genesis Irrlicht OpenSim ….

15 Проблема 3 Open Sim – клиент - серверная платформа для развертывания виртуальных миров. Модели – свой собственный формат, любая БД (MySQL, Oracle и т. д.) Написана на.NET. Ориентирована на работу на кластере ( каждый подмир – узел кластера ) Открытый протокол взаимодействия с клиентом.

16 Проблема 3 Моделирует физические эффекты ( гравитация, взаимодействие объектов ) Открыт для интерактивного и скриптового создания сценариев работы виртуального мира.

17 Проблема 3 Для визуализации можно использовать разнообразнейшие клиенты ( самый известный HippoViewer)

18 Проблема 3 Hippo Viewer – open source клиент - визуализатор – открытый для модификации подсистемы ввода ( связь с Kinect)

19 Архитектура прототипа

20 Прототип

21 Прототип

22 Дальнейшие шаги 1. Переход на Microsoft SDK 2. Модификация HippoView для работы с Kinect 3. Переход на движок OpenSim 4. Наполнение модели игровой логикой и артефактами 5. Расширение возможностей подсистемы ввода ( движение по большой территории, панораный обзор и т. д.)

23 Ссылки us/um/redmond/projects/kinectsdk