Анализ больших объемов данных. BaseGroup Labs Обработка больших объемов данных Во многих компаниях, особенно в розничных торговых сетях, аккумулируется.

Презентация:



Advertisements
Похожие презентации
BIG DATA Революция в области хранения и обработки данных Выполнили студенты Кибец Юлия Усатов Константин.
Advertisements

Deductor 5 – новые возможности. BaseGroup Labs Развитие системы Deductor активно применяется во многих проектах. Новый функционал, расширяющий возможности.
Deductor – аналитическая платформа. BaseGroup Labs Назначение системы Deductor 5 является платформой, ориентированной на решение задач анализа любых структурированных.
Deductor в банковской аналитике. BaseGroup Labs Банковская аналитика Банковская аналитика охватывает большой спектр вопросов от консолидации и визуализации.
Deductor 5 – эволюция платформы. BaseGroup Labs Причины изменений Deductor изменялся под влиянием требований, возникающих при его применения в реальных.
Прогнозирование в Deductor. BaseGroup Labs Задача прогнозирования Прогнозирование – одна из самых востребованных, но при этом и самых сложных задач анализа.
Обнаружение нетривиальных аномалий методами Data Mining.
Deductor Inventory Stock Optimization. BaseGroup Labs Важность проблемы Большая часть финансовых средств торговой организации сосредоточена на складе,
Особенности Data Mining проектов. BaseGroup Labs Отличие от стандартного проекта В большинстве случаев Data Mining проекты не оправдывают ожидания клиентов.
BaseGroup Labs и вузы-партнеры: промежуточные итоги Николай Паклин.
Противодействие мошенничеству в розничной торговле.
Оценка эффективности маркетинговых кампаний. BaseGroup Labs Сложность оценки «Я точно знаю, что половина моих рекламных денег тратится впустую, вот только.
Методы построения скоринговых моделей. BaseGroup Labs Постановка задачи оценки рисков Любая проблема оценки рисков сводится к решению двух задач: Отнесение.
Арустамов Алексей BaseGroup Labs IT Service Management – анализ инцидентов и проблем.
Оценка кредитоспособности физических лиц. BaseGroup Labs Составные части системы Система оценки рисков кредитования состоит из 2-х блоков: Скоринговая.
Промышленное прогнозирование. BaseGroup Labs Постановка задачи Прогнозированием можно назвать любой способ предсказать значения одной переменной в зависимости.
Методы построения скоринговых моделей. BaseGroup Labs Постановка задачи оценки рисков Любая проблема оценки рисков сводится к решению двух задач: Отнесение.
Data Mining – инструмент оптимизации работы с клиентами.
Образовательный портал BaseGroup. BaseGroup Labs Составные части Образовательный портал состоит из следующих частей: Образовательная платформа – e-learning.
Маркетинг банковских продуктов и услуг. BaseGroup Labs Вектор развития По мере насыщения финансового рынка, борьба за каждого клиента становится более.
Транксрипт:

Анализ больших объемов данных

BaseGroup Labs Обработка больших объемов данных Во многих компаниях, особенно в розничных торговых сетях, аккумулируется огромное количество данных. Для их обработки необходимо использовать специальные механизмы. Не существует универсальных способов анализа или алгоритмов, пригодных для любых случаев и любых объемов информации. Методы анализа данных существенно отличаются друг от друга по производительности, качеству результатов, удобству применения, требованиям к данным... Deductor включает широкий спектр механизмов, позволяющих добиваться хорошего качества и высокой производительности при обработке больших объемов данных.

BaseGroup Labs Способы повышения производительности Производительность при обработке больших объемов данных можно повысить различными способами: Оборудование: многопроцессорные системы, ОЗУ большой емкости, RAID-массивы... Базы данных: «тяжелые» СУБД, разбиение на разделы, оптимальное индексирование... Аналитическая платформа: параллельная обработка, кэширование данных, комбинирование простых и сложных моделей... Исходная информация: репрезентативные выборки, сегментирование данных, группировка... Алгоритмы: масштабируемые алгоритмы, комитеты моделей, иерархические модели...

BaseGroup Labs Пропуская через «сито» моделей можно отсеивать информацию, для анализа которой бесполезны сложные алгоритмы. Для этих данных можно применять простые и быстрые методы. Сложные же модели использовать там, где это имеет смысл. Сложная модель – низкая производительность Простая модель – средняя производительность Комбинирование моделей «Жесткие правила» – высокая производительность Результат аналитической обработки

BaseGroup Labs Очень часто оптимальной стратегией анализа является не разработка одной сложной модели, а построение нескольких моделей на разных сегментах данных и последующее объединение их результатов. Параллельная обработка Модель 1 Модель 2 Модель 3 Результат аналитической обработки Исходные данные 1 сегмент 2 сегмент 3 сегмент

BaseGroup Labs Для обработки больших объемов данных нет необходимости перерабатывать всю информацию. Модели можно строить на относительно небольших выборках, а затем применять их ко всему множеству. Репрезентативные выборки Исходные данные Репрезентативная выборка Модель Построение модели Применение модели Результат

BaseGroup Labs BaseGroup Labs – профессиональный поставщик Data Warehouse, OLAP, KDD, Data Mining решений и инструментов. Web-сайт: Образование: edu.basegroup.ruedu.basegroup.ru