Выполнил: Ромашкин Амир, 545гр Руководитель: Петров Александр, аспирант кафедры СП

Контроллер-приставка для Xbox Что в него входит: RGB Камера 3D сенсор Микрофонный массив Kinect SDK Распознавание скелета человека Главное достоинство: 3D зрение за 150$ Альтернативы: ViEye – система распознавания жестов без 3D сенсора

Сфера - хирургия Часто требуется во время некоторых операций иметь возможность: Просмотра снимков томографии Просмотра 3D моделей анатомии человека Анализа поверхности тела пациента Хирургами в СПБ и г. Савонлинна (Финляндия) подтверждена полезность следующих действий: Вычисление длины отрезка на теле пациента Вычисление объема слоя снимаемой ткани с пациента

При помощи Kinect позволять пользователю: Просматривать 2D снимки и 3D модели при помощи жестов рук Проводить анализ поверхности тела: Вычислять длину отрезка по двум точкам, отмеченными пальцем на теле Вычислять объем слоя ткани по введенной глубине и отмеченному пальцем контуру

Главные модули системы и зависимости между ними

Поддерживаемые форматы: Классические растровые изображения DICOM-снимки – стандартный формат хранения снимков томографии и данных о пациенте Поддерживаемые действия при помощи жестов: Листание на кадр вперед/назад Быстрое листание вперед/назад Масштабирование, навигация в увеличенном изображении

Использовалась open-source библиотека работы с 3D моделями Поддерживаются классические форматы Поддерживаемые действия при помощи жестов: Поворот Масштабирование

Реализованы следующие варианты анализа поверхности: Вычисление длины отрезка Вычисление объема слоя, ограниченного контуром, при введенной глубине Разработана вспомогательная библиотека распознавания пальцев

Для анализа поверхности тела пациента используются 2 сенсора Kinect 1ый – для съемки пациента 2ой – для анализа полученной фотографии

Алгоритм нахождения пальцев: Определение контура ладони «Заливка» от центра ладони до «прыжка в глубину» Использовался нерекурсивный алгоритм построчной заливки Нахождение выпуклой оболочки контура Разные эвристики: «Прореживание» оболочки Отбрасывание лишних мелочей Особенность реализации: Алгоритм модифицирован для распознавания пальцев, направленных на камеру

Действия пользователя: Отмечаются две точки на сцене Метод вычисления длины: 2D отрезок дробится на некоторое количество отрезков в 3D пространстве Возвращается суммарная длина этих отрезков

Действия пользователя Заранее вводится глубина слоя Пальцем обводится контур Метод вычисления объема: Вычисляется площадь 3D поверхности внутренней части контура Возвращается площадь, умноженная на введенную глубину

ТелоИзгиб гитары Сильно согнутый листок бумаги Плоскость под углом Средняя погрешность Длина отрезка (см) Real: 23 Out : 23 Real: 32 Out : 34 Real: 25 Out : 24 Real: 54 Out : % Площадь внутренности контура(см2) Real: 606 Out : 612 -Real: 162 Out : 150 Real: 1419 Out: % Real – реальное значение Out – результат работы программы

Улучшение алгоритма распознавания пальцев Тестирование не более точных сенсорах Вычисления длины отмечаемой пользователем произвольной линии, а не отрезка Использование лишь одного сенсора Kinect «Тотальное Kinect-взаимодействие»

Реализованы инструменты для: Просмотра 3D моделей Просмотра 2D DICOM-снимков Анализа поверхности пациента: Вычисление длины отрезка Вычисление объема слоя, ограниченного контуром Спасибо за внимание Конец.