Управление компьютером при помощи глаз: обнаружение предсаккадных пиков Елена Храмцова, 545 группа Научный руководитель: А. А. Пименов Рецензент: к. ф.-м. - презентация

1 Управление компьютером при помощи глаз: обнаружение предсаккадных пиков Елена Храмцова, 545 группа Научный руководитель: А. А. Пименов Рецензент: к. ф.-м. н., доц. Д. В. Кознов

2 Контекст: cистемаОкулографический интерфейс Разрабатывается с 2005 года в НИИ имени А. Ухтомского на биолого- почвенном факультете СПбГУ Предназначена для эмуляции компьютерной мыши движением глаз человека – глаза выполняют функцию мыши Основана на ЭОГ-методе

3 Каналы Каналам соответствуют электроды, обозначенные цифрами 1,2,3,4,5.

4 Электроокулограмма Зависимость потенциала (мкВ) от времени на 5 каналах Цветные вертикальные линии: моменты движения стимула (кружка)

5 Саккады Зависимость потенциала (мкВ) от времени на 5 каналах Цветные вертикальные линии: моменты движения стимула (кружка) Желтые области – саккады

6 Архитектура

7 Проблемы ложные срабатывания согласованность саккад по каналам задержка секунды

8 Предсаккадные пики

9 Цель дипломной работы Использовать явление предсаккадных пиков для улучшения качества работы системы

10 Задачи дипломной работы Изучить ЭОГ-метод регистрации движения глаз Формализовать явление предсаккадного пика, выявить и сформулировать требования к его обнаружению Разработать алгоритм для обнаружения предсаккадных пиков в режиме реального времени с учетом многоканальности Разработать программную реализацию алгоритма и встроить в систему Окулографический интерфейс Реализовать блок сохранения амплитуды саккады для дискретизирующего фильтра

11 Компонента обнаружения предсаккадных пиков

12 «Стихийный» алгоритм Сгладить сигнал Найти резкие скачки

13 Метод наименьших квадратов Сигнал: Шаблон: Контроль высоты

14 Дискретизирующий фильтр До обработки После

15 Система «Окулографический интерфейс»

16

17 Тестовое окружение

18

19 Результаты Были собраны и проанализированы требования к алгоритму обнаружения предсаккадных пиков Проведено знакомство с кодом системы Окулографический интерфейс (модули фильтрации, формат хранения данных) Разработан алгоритм обнаружения предсаккадных пиков Первая версия: стихийный алгоритм Вторая версия: адаптирован метод наименьших квадратов Алгоритм реализован и интегрирован в систему Окулографический интерфейс (язык С++, среда C++ Builder) Создано тестовое окружение: методика тестирования конвертор электроокулограммы из бинарного формата в текстовый (С++, C++ Builder) визуализатор статистики (язык Python, библиотека matplotlib) Произведена апробация: выполнен подбор параметров для оптимальной работы алгоритма Выполнена реализация блока сохранения амплитуды в рамках разработки дискретизирующего фильтра

20 Применение результатов В ходе апробации компоненты был выявлен феномен коррекционные микросаккады По графикам, созданным с помощью визуализатора, исследованы зависимости параметров пиков от пола, возраста, индивидуальных особенностей испытуемого