Data Mining в ситуационных центрах. BaseGroup Labs Цель создания ситуационных центров Ситуационный центр - это самая современная форма реализации системы. - презентация

1 Data Mining в ситуационных центрах

2 BaseGroup Labs Цель создания ситуационных центров Ситуационный центр - это самая современная форма реализации системы поддержки принятия решений. Огромные потоки разнородных данных, которые необходимо учитывать при анализе сложных объектов (регионы страны, крупные предприятия, большие производственные комплексы, стадионы и т.п.), значительно усложняют адекватное реагирование лица, принимающего решения. Человек физически не способен переработать такие информационные потоки. Для повышения эффективности и качества управленческих решений необходимо использовать развитые механизмы анализа: Связывать разнородную информацию из сотен источников Отображать данные в предельно концентрированном виде и наиболее удобным для восприятия способом Автоматически выделять объекты, требующие внимания Моделировать развитие ситуации, выдавать рекомендации.

3 BaseGroup Labs Ожидаемый пользователем результат Предоставлять «сырые» данные бессмысленно. Пользователю нужна обработанная информация: Нужный пользователю результат может быть получен только при применении алгоритмов глубокого анализа данных. Что естьЧто надо Множество баз данных, файлов, систем учета Единый источник информации для принятия решений Таблицы, простая графика, стандартные диаграммы Специализированные способы визуализации, отображение на картах «Сырые» данныеОчищенные и предобработанные данные Агрегированные данныеВыводы, прогнозы, риски, результаты сценариев Вся доступная информацияОтранжированные критически важные объекты

4 BaseGroup Labs Структура ситуационного центра Лицо, принимающее решение Аналитика: модели, прогнозы, сценарии развития ситуации «что-если», риски Программная инфраструктура: базы данных, аналитические платформы, деловая графика, электронная почта... Техническая инфраструктура: каналы связи, серверы, системы бесперебойного питания, средства визуализации... Для работы комплекса нужны все элементы системы

5 BaseGroup Labs Уровни анализа данных Визуализация Моделирование Предсказание Оптимизация Увидеть, что произошло в прошлом Построить модель ситуации Понять, что произойдет в будущем Оптимизировать издержки сейчас и в будущем

6 BaseGroup Labs Кейс : выявление опасных отклонений Методы устойчивой к всплескам фильтрации позволяют находить в больших объемах данных необычные аномалии, оценивать степень их отклонений и ранжировать риски. Пример. Для сокрытия незаконных операций очень часто используются методы, при которых эти действия разбиваются на множество мелких, которые сложно выявить из-за большого объема транзакций. Методы поиска аномалий позволяют автоматически выделить их из огромного потока данных. Обратить внимание Время Кол-во операций

7 BaseGroup Labs Кейс : выявление криминальных шаблонов Алгоритмы моделирования позволяют автоматически строить модели типового поведения для различных групп. Определяются шаблоны, характерные для преступных операций. После построения моделей проводится онлайн анализ на соответствие текущих операций шаблонам. Пример. Различные криминальные схемы формируют типовые паттерны, которые можно выявлять и автоматически оповещать. Обратить внимание Нормальное поведение

8 BaseGroup Labs Кейс : поиск причинно-следственных связей Методы поиска ассоциативных связей и последовательных шаблонов позволяют выявлять причинно-следственные связи и находить зависимости, что из события A следуют B. Пример. Обычно к критической ситуации приводит не одно действие, а целая их цепочка. Ассоциативные связи позволяют выявлять опасные операции уже на ранних стадиях. Кроме того, возможен анализ связей для выявления, через каких людей или организации проходят цепочки действий. Действие 1Действие 2 Действие 3Действие 4 Действие 5 1 вариант развития 2 вариант развития Риск высокий

9 BaseGroup Labs Сценарное моделирование Принятие решений в ситуационном центре подразумевает анализ различных сценариев развития событий. Необходимо обеспечить адекватность и обоснованность выводов. Использование методов моделирования позволяет решать подобные задачи, «обыгрывая» различные сценарии и анализируя по принципу «Что-если». Исходные данные Сценарий 1 Сценарий 2 Сценарий 3 Сравнение результатов

10 BaseGroup Labs Алгоритмы анализа Для построения адекватных моделей применяются современные методы анализа: Эконометрические и статистические модели Самообучающиеся алгоритмы Машинное обучение Нечеткая логика Методы оптимизации. Для этого используется широкий набор алгоритмов: нейронные сети, деревья решений, самоорганизующиеся карты, спектральный анализ и многое другое. Активно применяются синтез и комбинирование различных подходов к анализу данных.

11 BaseGroup Labs Механизмы адаптации моделей Применение самообучающихся алгоритмов позволяет не только построить адекватную модель, но и обеспечить ее адаптацию под постоянно меняющееся окружение. Жесткая модель бесполезна, потому что модель должна со временем перестраиваться. Это имеет принципиальное значение, т.к. пользователи ситуационного центра должны получать результаты, соответствующие текущей обстановке, а не событиям многолетней давности.

12 BaseGroup Labs Deductor – аналитическая платформа В качестве основы для решения задач анализа, моделирования, прогнозирования используется аналитическая платформа Deductor, которая решает практически все задачи анализа данных: Консолидация и отчетность Интеграция разнородных систем Очистка, предобработка и обогащение информации Прогнозирование и сегментация Поиск закономерностей, извлечение правил, выявление аномалий Оптимизация процессов

13 BaseGroup Labs Deductor в ситуационном центре Системы сбора данных Аналитическая платформа Deductor CRM ERP Биллинг Excel Веб-сайт Прочие Хранилище данных Очистка и предобработка данных Отчеты Модели Прогнозы Правила Закономерности ETL-процесс Консолидация Анализ

14 BaseGroup Labs Deductor – моделирование Сценарии анализа Отчеты Кросс- таблица График

15 BaseGroup Labs Deductor – визуализация результатов KPI – контроль исполнения поручений Сегментация регионов OLAP – отчетность Отображение на картах

16 BaseGroup Labs Интеграция Deductor имеет встроенные механизмы работы со множеством источников и приемников данных, поддерживает все популярные форматы: Базы данных и системы управления предприятиями Офисные системы и файлы обмена Геоинформационные системы и веб-сервисы Универсальные драйвера доступа. Взаимодействие со сторонними приложениями базируется на использовании промышленных стандартов.

17 BaseGroup Labs Производительность Для работы Deductor применяются стандартные Windows-сервера. При обработке больших объемов данных рекомендуется использовать Deductor Enterprise, включающий специальные механизмы кэширования, балансировки нагрузки и прочее. Показатели производительности типового проекта: Хранилище данных – Гб Построение моделей – в час Прогон модели – 1 млн. записей в час

18 BaseGroup Labs Опыт аналогичных работ Аналитический центр при правительстве РФ: моделирование социально-экономического развития регионов. Центральная служба горноспасательных частей: анализ рисков взрывов на шахтах. Министерства промышленности и торговли Российской Федерации: анализ и прогнозирование развития предприятий. НИИ эпидемиологии и микробиологии имени Н. Ф. Гамалеи РАМН: прогнозирование распространения опасных вирусных инфекций.

19 BaseGroup Labs Учебно-методическая поддержка Применение методов моделирования требует подготовленных аналитиков. Учебные курсы на базе Deductor включены в официальную программу более 70 вузов России и СНГ.

20 BaseGroup Labs Оптимизация принятия решений Конечной целью создания ситуационного центра является оптимизация процесса управления, т.е. снижение издержек и повышение качества принимаемых решений. Именно методы анализа данных позволяют добиться поставленной задачи: Анализировать риски и ранжировать усилия Находить причины возникновения проблем и исправлять ситуацию Распределять имеющиеся ресурсы в соответствии с прогнозами Выявлять проблемы на ранних стадиях и не допускать неблагоприятного развития.

21 BaseGroup Labs О BaseGroup Labs BaseGroup Labs – профессиональный поставщик Data Warehouse, OLAP, KDD, Data Mining решений и инструментов. Web-сайт: Образование: edu.basegroup.ruedu.basegroup.ru