Инструментарий хранилищ данных. Управление метаданными. - презентация

1 Презентацию подготовил: Зибров Лев Группа: 11ПИ(б)Мен Инструментарий хранилищ данных. Управление метаданными. Оренбург, 2015

2 Вопросы 1) Инструментарий хранилищ данных. 2) Управление метаданными.

3 1)Инструментарий хранилищ данных Хранилище данных - предметно- ориентированная информационная база данных, специально разработанная и предназначенная для подготовки отчётов и бизнес-анализа с целью поддержки принятия решений в организации. Строится на базе систем управления базами данных и систем поддержки принятия решений. Данные, поступающие в хранилище данных, как правило, доступны только для чтения.

4 Хранилище данных Есть два варианта обновления данных в хранилище: 1) Полное обновление данных в хранилище. Сначала старые данные удаляются, потом происходит загрузка новых данных. Процесс происходит с определённой периодичностью, при этом актуальность данных может несколько отставать от OLTP-системы; 2) Инкрементальное обновление обновляются только те данные, которые изменились в OLTP-системе.

5 Принципы организации хранилища: - Проблемно-предметная ориентация. Данные объединяются в категории и хранятся в соответствии с областями, которые они описывают, а не с приложениями, которые они используют. - Интегрированность. Данные объединены так, чтобы они удовлетворяли всем требованиям предприятия в целом, а не единственной функции бизнеса. - Некорректируемость. Данные в хранилище данных не создаются: т.е. поступают из внешних источников, не корректируются и не удаляются. - Зависимость от времени. Данные в хранилище точны и корректны только в том случае, когда они привязаны к некоторому промежутку или моменту времени.

6 Дизайн хранилищ данных: Существуют два архитектурных направления – нормализованные хранилища данных и хранилища с измерениями: - В нормализованных хранилищах, данные находятся в предметно ориентированных таблицах третьей нормальной формы. Нормализованные хранилища характеризуются как простые в создании и управлении, недостатки нормализованных хранилищ – большое количество таблиц как следствие нормализации, из-за чего для получения какой-либо информации нужно делать выборку из многих таблиц одновременно, что приводит к ухудшению производительности системы.

7 Дизайн хранилищ данных: - Хранилища с измерениями используют схему «звезда» или схему «снежинка». Основным достоинством хранилищ с измерениями является простота и понятность для разработчиков и пользователей, также, благодаря более эффективному хранению данных и формализованным измерениям, облегчается и ускоряется доступ к данным, особенно при сложных анализах. Основным недостатком является более сложные процедуры подготовки и загрузки данных, а также управление и изменение измерений данных.

8 Процессы работы с данными: Операции с данными: 1) Извлечение – перемещение информации от источников данных в отдельную БД, приведение их к единому формату. 2) Преобразование – подготовка информации к хранению в оптимальной форме для реализации запроса, необходимого для принятия решений. 3) Загрузка – помещение данных в хранилище, производится атомарно, путем добавления новых фактов или корректировкой существующих. 4) Анализ – OLAP, Data Mining, сводные отчёты. 5) Представление результатов анализа. Вся эта информация используется в словаре метаданных.

9 2) Управление метаданными Метаданные – это структурированные, кодированные данные, которые описывают характеристики объектов-носителей информации, способствующие идентификации, обнаружению, оценке и управлению этими объектами. Обычно под метаданными понимается любая информация, необходимая в информационно- аналитических системах для анализа, проектирования, построения, внедрения и применения компьютерной системы.

10 Управление метаданными В случае информационных систем метаданные особенно упрощают управление, создание запросов, полноценное использование и понимание данных. Генерирование, хранение и управление метаданными помогают в поддержке использования огромных объемов информации, доступных в наши дни в любой электронной форме.

11 Типы метаданных: – описательная информация (например, частота обновления, юридические ограничения и методы доступа); – информация о процессах, таких как график заданий и коды извлечения. – информация о получении данных (например, планирование передачи данных и результатов, а также сведения об использовании файлов); – управление таблицами измерений, например, определения измерений и присвоения суррогатных ключей; – документирование проверок, работ и журналов, например: журналов преобразования данных и записей слежения за происхождением данных.

12 Метаданные можно использовать тремя способами: 1. Пассивно, обеспечивая четкую документацию о структуре, процессе разработки и использовании системы Хранилища данных. Доступная документация необходима всем участникам (т. е. конечным пользователям, системным администраторам, а также разработчикам приложений). 2. Активно, путем хранения конкретных семантических аспектов (например, правил преобразования) в виде метаданных, которые можно интерпретировать и использовать во время исполнения. В этом случае процессы Хранилища данных управляются метаданными. 3. Полуактивно, за счет хранения статической информации (например, определений структур, спецификаций конфигураций), которую будет считывать другой программный компонент во время выполнения.

13 Создание и управление метаданными служит двум целям: К минимизации работ по разработке и администрированию Хранилища данных в основном относится: 1) поддержка интеграции систем. Схемы и интеграция данных зависят от метаданных, описывающих структуру и смысл отдельных источников данных и целевых систем; 2) поддержка анализа и проектирования новых приложений. Метаданные повышают контролируемость и надежность процесса разработки приложений, обеспечивая информацию о смысле данных, их структуре и источниках;

14 Создание и управление метаданными служит двум целям: 3) повышение гибкости системы и возможности повторного использования существующих программных модулей; 4) автоматизация административных процессов. Метаданные управляют запуском различных процессов Хранилища данных (например, загрузки и обновления); 5) усилению механизмов безопасности. Метаданные должны обеспечить правила доступа и пользовательские права для всей системы Хранилища данных.

15 Создание и управление метаданными служит двум целям: Вторая цель относится к эффективному извлечению информации, а точнее: 1) к повышению качества данных. Качество данных определяется следующими характеристиками: согласованностью (является ли представление данных однородным, нет ли дубликатов, данных с пересекающимися или конфликтующими определениями); полнотой (все ли данные присутствуют); точностью (совпадением хранимых и фактических значений); своевременностью (актуально ли хранимое значение);

16 Создание и управление метаданными служит двум целям: 2) улучшению взаимодействия внутри системы хранилища данных. Взаимодействие происходит как посредством выполнения простых запросов и отчетных приложений, так и с использованием сложных аналитических инструментов; 3) улучшению анализа данных. Методы анализа данных представлены широко – начиная от простых приложений отчетности и OLAP и заканчивая сложными приложениями Data Mining; 4) применению общей терминологии и языка взаимодействия внутри корпорации.

17 Спасибо за внимание!