Обнаружение нетривиальных аномалий методами Data Mining.

Презентация:



Advertisements
Похожие презентации
Deductor 5 – эволюция платформы. BaseGroup Labs Причины изменений Deductor изменялся под влиянием требований, возникающих при его применения в реальных.
Advertisements

Deductor в банковской аналитике. BaseGroup Labs Банковская аналитика Банковская аналитика охватывает большой спектр вопросов от консолидации и визуализации.
Особенности Data Mining проектов. BaseGroup Labs Отличие от стандартного проекта В большинстве случаев Data Mining проекты не оправдывают ожидания клиентов.
Deductor – аналитическая платформа. BaseGroup Labs Назначение системы Deductor 5 является платформой, ориентированной на решение задач анализа любых структурированных.
Анализ больших объемов данных. BaseGroup Labs Обработка больших объемов данных Во многих компаниях, особенно в розничных торговых сетях, аккумулируется.
Промышленное прогнозирование. BaseGroup Labs Постановка задачи Прогнозированием можно назвать любой способ предсказать значения одной переменной в зависимости.
Data Mining – инструмент оптимизации работы с клиентами.
Deductor 5 – новые возможности. BaseGroup Labs Развитие системы Deductor активно применяется во многих проектах. Новый функционал, расширяющий возможности.
Deductor – принципы работы. BaseGroup Labs Назначение системы Deductor является платформой, ориентированной на решение задач анализа самого широкого спектра:
Арустамов Алексей BaseGroup Labs IT Service Management – анализ инцидентов и проблем.
Оценка кредитоспособности физических лиц. BaseGroup Labs Составные части системы Система оценки рисков кредитования состоит из 2-х блоков: Скоринговая.
Анализ бизнес информации – основные принципы. BaseGroup Labs Последовательность работы Сбор и систематизация данных Построение модели, объясняющей имеющиеся.
Deductor Inventory Stock Optimization. BaseGroup Labs Важность проблемы Большая часть финансовых средств торговой организации сосредоточена на складе,
Противодействие мошенничеству в розничной торговле.
Арустамов Алексей BaseGroup Labs IT Service Management в банках : анализ инцидентов и проблем.
Методы построения скоринговых моделей. BaseGroup Labs Постановка задачи оценки рисков Любая проблема оценки рисков сводится к решению двух задач: Отнесение.
Data Mining в ситуационных центрах. BaseGroup Labs Цель создания ситуационных центров Ситуационный центр - это самая современная форма реализации системы.
Прогнозирование в Deductor. BaseGroup Labs Задача прогнозирования Прогнозирование – одна из самых востребованных, но при этом и самых сложных задач анализа.
Data Mining – подготовка данных. BaseGroup Labs Последовательность работы Гипотеза, предположение Сбор и систематизация данных Подбор модели Тестирование,
E-learning – дистанционное обучение. BaseGroup Labs Что такое дистанционное обучение? Дистанционное обучение (ДО) – это способ организации учебного процесса.
Транксрипт:

Обнаружение нетривиальных аномалий методами Data Mining

BaseGroup Labs Что считать аномалией? Одна из идей обнаружения операций, связанных с противодействием легализации преступных доходов связана с выявлением аномалий, т.е. действий не соответствующих «общепринятым». Подобная аномалия не является однозначным свидетельством о нарушение закона – это механизм интеллектуальной фильтрации, позволяющий выделить объекты, на которые нужно обратить внимание.

BaseGroup Labs Методы обнаружения Существует множество механизмов подобной фильтрации. Ни один из них не обеспечивает должного качества, но комбинация методов позволяет получить приемлемые результаты: «Черные» и «белые» списки Жесткие правила Нечеткие правила Статистические методы Самообучающиеся алгоритмы Имитационное моделирование

BaseGroup Labs Data Mining Методы Data Mining позволяют стоить модели, решающие задачи: кластеризации, классификации, регрессии, ассоциации и последовательности. Любая из построенных моделей позволяет «предсказывать» поведение объектов. Объекты, поведение которых отличаются от предполагаемого должны стать источником пристального изучения.

BaseGroup Labs Достоинства Data Mining Важным преимуществом использования методов Data Mining является их адаптивность, способность к самообучению. Преступники постоянно меняются. Система каждый раз, получая новые данные, должна учитывать эти изменения. Кроме того, Data Mining алгоритмы автоматически способны обрабатывать огромные объемы данных.

BaseGroup Labs Сложности идентификации Несмотря на всю мощь, только использование Data Mining не позволяет полностью покрыть потребности при анализе противозаконной деятельности. Необходимо уметь применять максимально широкий спектр подходов: консолидация, визуализация, нечеткая логика, моделирование… Любой механизм контроля можно обойти – чем больше разнородных подходов используется, тем сложнее обмануть систему.

BaseGroup Labs Цель работы системы Нереально создать абсолютно надежную систему, но целью является другое – создание механизма при котором невозможно «дважды наступить на одни и те же грабли». Классифицировать опасность Реализовать сценарий ее обнаружения Проводить регулярный мониторинг Выявлять новые потенциальные опасности

BaseGroup Labs Кто будет пользоваться? Современные методы построения моделей достаточно мощные, но нет достаточного количества людей, способных ими воспользоваться – это главная проблема. Готовые системы не помогут – преступники постоянно изменяются, придется адаптироваться и экспертам, занимающихся их обнаружением. Необходимо обучение экспертов и тиражирование их знаний.

BaseGroup Labs Тиражирование знаний Тиражирование знаний – единственный способ поставить механизм выявление нетривиальных аномалий на поток. Для реализации необходимо реализовать 4 блока: Консолидация данных и обеспечение к ним удобного доступа экспертов Формализация знаний экспертов – реализация сценариев обнаружения отклонений Визуализация – отображение информации понятным конечному пользователю способом Доставка информации до потребителя

BaseGroup Labs BaseGroup Labs – профессиональный поставщик Data Warehouse, OLAP, KDD, Data Mining решений и инструментов. Web-сайт: Образование: edu.basegroup.ruedu.basegroup.ru