Учебная дисциплина «Организация управления и хранения данных» для студентов специальности – Прикладная информатика (в экономике) Лекция 3 СТРУКТУРА, ОСНОВНЫЕ СВОЙСТВА И ИСТОЧНИКИ ДАННЫХ ДЛЯ ХРАНИЛИЩ ДАННЫХ Учебные вопросы: 1. Структура хранилищ данных 2. Общие свойства хранилищ данных 3. Источники и структура данных для их хранилищ Учебные вопросы: 1. Структура хранилищ данных 2. Общие свойства хранилищ данных 3. Источники и структура данных для их хранилищ

Литература 1. Информационные технологии управления : Учебник / Б. В. Черников. - М. : Форум, 2008 ; М. : Инфра-М, – 351 с.. - (Высшее образование). (ГРИФ) 2. Советов Б.Я., Цехановский В.В Информационные технологии: Учебник для вузов / - 3-е изд., стереотип. - М. : Высшая школа, [2] с. : ил, табл. - Библиогр.: с ISBN : УДК 002.6(075.8)004(075.8). 3.Консалтинг: от бизнес-стратегии к корпоративной информационно-управляющей системе / Г. Н. Калянов. - М. : Горячая линия-Телеком, с 4. Жуковский О.И. Информационные технологии: Учебное пособие. Рекомендовано СИБРУМЦ для межвузовского использования в качестве учебного пособия. – Томск : ТУСУР, с. : ил. - Библиогр.: с ISBN Проектирование реляционных хранилищ данных [Текст] : справочное издание / В. Е. Туманов, С. В. Маклаков. - М. : ДИАЛОГ- МИФИ, с 1. Информационные технологии управления : Учебник / Б. В. Черников. - М. : Форум, 2008 ; М. : Инфра-М, – 351 с.. - (Высшее образование). (ГРИФ) 2. Советов Б.Я., Цехановский В.В Информационные технологии: Учебник для вузов / - 3-е изд., стереотип. - М. : Высшая школа, [2] с. : ил, табл. - Библиогр.: с ISBN : УДК 002.6(075.8)004(075.8). 3.Консалтинг: от бизнес-стратегии к корпоративной информационно-управляющей системе / Г. Н. Калянов. - М. : Горячая линия-Телеком, с 4. Жуковский О.И. Информационные технологии: Учебное пособие. Рекомендовано СИБРУМЦ для межвузовского использования в качестве учебного пособия. – Томск : ТУСУР, с. : ил. - Библиогр.: с ISBN Проектирование реляционных хранилищ данных [Текст] : справочное издание / В. Е. Туманов, С. В. Маклаков. - М. : ДИАЛОГ- МИФИ, с

Цель лекции Цель лекции – сформировать представление у студентов о структуре, основных свойствах и источниках данных для хранилищ данных.

Вопрос 1. Структура хранилищ данных Хранилище на самом верхнем уровне состоит, как правило, из трех подсистем: подсистемы загрузки данных, подсистемы обработки запросов и представления данных, подсистемы администрирования хранилища. Подсистема загрузки данных Данная подсистема представляет собой ПО, которое в соответствии с определенным регламентом извлекает данные из источников и приводит их к единому формату, определенному для хранилища. Данная подсистема отвечает за формализованную логическую согласованность, качество и интеграцию данных, которые загружаются из источников в оперативный склад данных. Каждый источник данных требует разработки собственного загрузочного модуля. Каждый модуль должен решать два класса задач: Начальной загрузки ретроспективных данных, Регламентного пополнения хранилища данными из источников. Хранилище на самом верхнем уровне состоит, как правило, из трех подсистем: подсистемы загрузки данных, подсистемы обработки запросов и представления данных, подсистемы администрирования хранилища. Подсистема загрузки данных Данная подсистема представляет собой ПО, которое в соответствии с определенным регламентом извлекает данные из источников и приводит их к единому формату, определенному для хранилища. Данная подсистема отвечает за формализованную логическую согласованность, качество и интеграцию данных, которые загружаются из источников в оперативный склад данных. Каждый источник данных требует разработки собственного загрузочного модуля. Каждый модуль должен решать два класса задач: Начальной загрузки ретроспективных данных, Регламентного пополнения хранилища данными из источников.

Подсистема обработки запросов и представления данных Оперативный склад, хранилище и витрины данных являются инфраструктурой, которая обеспечивает хранение и администрирование данных. Для извлечения данных, их аналитической обработки и представления конечным пользователям служит специальное ПО. Как правило, можно выделить три типа данного ПО: Программное обеспечение регламентированной отчетности, Программное обеспечение нерегламентированных запросов пользователей, Программное обеспечение добычи знаний. Подсистема обработки запросов и представления данных Оперативный склад, хранилище и витрины данных являются инфраструктурой, которая обеспечивает хранение и администрирование данных. Для извлечения данных, их аналитической обработки и представления конечным пользователям служит специальное ПО. Как правило, можно выделить три типа данного ПО: Программное обеспечение регламентированной отчетности, Программное обеспечение нерегламентированных запросов пользователей, Программное обеспечение добычи знаний.

Подсистема администрирования хранилища К ведению данной подсистемы относятся все задачи, связанные с поддерживанием системы и обеспечением ее устойчивой работы и расширения. Можно выделить, по крайней мере, четыре класса задач, расширение которых должна обеспечивать данная подсистема: Администрирование данных, которое включает в себя регулярное пополнение данных из источников, если необходимо, ручной ввод, сверка и корректировка данных в оперативном складе. Администрирование данных ведется, как правило, бизнес- пользователями, а ответственность распределяется по предметно- ориентированным сегментам. Администрирование хранилища данных. В задачу администрирования хранилища входят все вопросы, связанные с поддержанием архитектуры хранилища, его эффективной и бесперебойной работы, защитой и восстановлением данных после сбоев. Администрирование доступа к данным обеспечивает сопровождение профилей пользователей, разграничение доступа к конфиденциальным данным, защиту информации от несанкционированного доступа. Администрирование метаданных системы. Подсистема администрирования хранилища К ведению данной подсистемы относятся все задачи, связанные с поддерживанием системы и обеспечением ее устойчивой работы и расширения. Можно выделить, по крайней мере, четыре класса задач, расширение которых должна обеспечивать данная подсистема: Администрирование данных, которое включает в себя регулярное пополнение данных из источников, если необходимо, ручной ввод, сверка и корректировка данных в оперативном складе. Администрирование данных ведется, как правило, бизнес- пользователями, а ответственность распределяется по предметно- ориентированным сегментам. Администрирование хранилища данных. В задачу администрирования хранилища входят все вопросы, связанные с поддержанием архитектуры хранилища, его эффективной и бесперебойной работы, защитой и восстановлением данных после сбоев. Администрирование доступа к данным обеспечивает сопровождение профилей пользователей, разграничение доступа к конфиденциальным данным, защиту информации от несанкционированного доступа. Администрирование метаданных системы.

Хранилище данных играет в первую очередь роль интегратора и аккумулятора исторических данных. Структура организации хранилища ориентирована на предметные области. Предметно-ориентированное хранилище содержит данные, поступающие из различных оперативных БД и внешних источников. Хранилище представляет собой совокупность данных, отвечающую следующим характеристикам: ориентированность на предметную область или ряд предметных областей, интегрированность, зависимость от времени (поддержка хронологии), постоянство. Хранилище данных играет в первую очередь роль интегратора и аккумулятора исторических данных. Структура организации хранилища ориентирована на предметные области. Предметно-ориентированное хранилище содержит данные, поступающие из различных оперативных БД и внешних источников. Хранилище представляет собой совокупность данных, отвечающую следующим характеристикам: ориентированность на предметную область или ряд предметных областей, интегрированность, зависимость от времени (поддержка хронологии), постоянство. Вопрос 2. Общие свойства хранилищ данных

Ориентированность на предметную область Первая особенность хранилища данных заключается в его ориентированности на предметный аспект. Предметная направленность контрастирует с классической ориентированностью прикладных приложений на функциональность и процессы. Приложения всегда оперируют функциями, такими, например, как открытие сделки, кредитование, выписка накладной, зачисление на счет и т.д. Хранилище данных организовано вокруг фактов и предметов, таких, как сделка, сумма кредита, покупатель, поставщик, продукт и т.д. Интегрированность Наиболее важный аспект хранилища данных состоит в том, что данные, находящиеся в хранилище, интегрированы. Интегрированность проявляется во многих аспектах: в согласованности имен, в согласованности единиц измерения переменных, в согласованности структур данных, в согласованности физических атрибутов данных и др. Ориентированность на предметную область Первая особенность хранилища данных заключается в его ориентированности на предметный аспект. Предметная направленность контрастирует с классической ориентированностью прикладных приложений на функциональность и процессы. Приложения всегда оперируют функциями, такими, например, как открытие сделки, кредитование, выписка накладной, зачисление на счет и т.д. Хранилище данных организовано вокруг фактов и предметов, таких, как сделка, сумма кредита, покупатель, поставщик, продукт и т.д. Интегрированность Наиболее важный аспект хранилища данных состоит в том, что данные, находящиеся в хранилище, интегрированы. Интегрированность проявляется во многих аспектах: в согласованности имен, в согласованности единиц измерения переменных, в согласованности структур данных, в согласованности физических атрибутов данных и др.

Зависимость от времени Все данные в хранилище в определенный момент времени совместны (непротиворечивы). Для оперативных систем эта базовая характеристика данных соответствует совместности данных в момент доступа. Когда в оперативной среде осуществляется доступ к данным, ожидается, что данные имеют совместные значения только в момент доступа к ним. Зависимость от времени хранилища данных проявляется в следующем. Данные в хранилище представлены за временной промежуток от года до 10 лет. В оперативной среде представление данных осуществляется в промежутке от текущего значения до нескольких десятков дней. Приложения с высокой производительностью для обеспечения эффективного процесса транзакций должны работать с минимальным количеством данных. Следовательно, оперативные приложения ориентированны на короткий временной промежуток. Зависимость от времени Все данные в хранилище в определенный момент времени совместны (непротиворечивы). Для оперативных систем эта базовая характеристика данных соответствует совместности данных в момент доступа. Когда в оперативной среде осуществляется доступ к данным, ожидается, что данные имеют совместные значения только в момент доступа к ним. Зависимость от времени хранилища данных проявляется в следующем. Данные в хранилище представлены за временной промежуток от года до 10 лет. В оперативной среде представление данных осуществляется в промежутке от текущего значения до нескольких десятков дней. Приложения с высокой производительностью для обеспечения эффективного процесса транзакций должны работать с минимальным количеством данных. Следовательно, оперативные приложения ориентированны на короткий временной промежуток.

Постоянство Четвертая определяющая характеристика хранилища данных – это постоянство. В оперативной среде операции обновления, добавления, удаления и изменения производятся над записями регулярно. Базовые манипуляции с данными хранилища ограничены начальной загрузкой данных и доступом к ним. В хранилище данных обновление данных не производится. Исходные (исторические) данные, после того как они были согласованны, верифицированы и внесены в хранилище данных, остаются неизменными и используются исключительно в режиме чтения. Постоянство Четвертая определяющая характеристика хранилища данных – это постоянство. В оперативной среде операции обновления, добавления, удаления и изменения производятся над записями регулярно. Базовые манипуляции с данными хранилища ограничены начальной загрузкой данных и доступом к ним. В хранилище данных обновление данных не производится. Исходные (исторические) данные, после того как они были согласованны, верифицированы и внесены в хранилище данных, остаются неизменными и используются исключительно в режиме чтения.

Существуют важные последствия различия обработки данных в оперативной среде и обработки в хранилище данных. На уровне проектирования хранилища данных необходимость в поддержке механизмов, обеспечивающих корректность обновлений, отпадает – обновления в хранилище данных не производятся. Это означает, что на физическом уровне проектирования при решении проблемы нормализации и физической денормализации доступ к данным может оптимизироваться без каких-либо ограничений. Другое последствие простоты работы с данными хранилища касается технологии работы с данными. Технология работы с данными в оперативной среде отличается большей сложностью. Она поддерживает функции оперативного резервного копирования и восстановления, обеспечивает целостность данных, включает механизмы разрешения конфликтов и тупиковых ситуаций. Для обработки информации в хранилище данных указанные функции не столь критичны. Характеристики хранилища данных – ориентированность на предметную область при проектировании, интегрированность данных, зависимость от времени и простота управления данными – определяют среду, которая существенно отличается от классической транзакционной среды. Существуют важные последствия различия обработки данных в оперативной среде и обработки в хранилище данных. На уровне проектирования хранилища данных необходимость в поддержке механизмов, обеспечивающих корректность обновлений, отпадает – обновления в хранилище данных не производятся. Это означает, что на физическом уровне проектирования при решении проблемы нормализации и физической денормализации доступ к данным может оптимизироваться без каких-либо ограничений. Другое последствие простоты работы с данными хранилища касается технологии работы с данными. Технология работы с данными в оперативной среде отличается большей сложностью. Она поддерживает функции оперативного резервного копирования и восстановления, обеспечивает целостность данных, включает механизмы разрешения конфликтов и тупиковых ситуаций. Для обработки информации в хранилище данных указанные функции не столь критичны. Характеристики хранилища данных – ориентированность на предметную область при проектировании, интегрированность данных, зависимость от времени и простота управления данными – определяют среду, которая существенно отличается от классической транзакционной среды.

Источником почти всех данных среды хранилища данных являются оперативные среды. Может возникнуть ощущение, что существует огромная избыточность данных в обеих средах. Однако на практике избыточность данных в средах минимальна, поскольку: При передаче данных из оперативной среды в хранилище данных эти данные фильтруются. Многие данные вообще никогда не выгружаются из оперативной среды. В хранилище данных передается только информация, используемая для обработки в системе поддержки принятия решений. Временной горизонт в средах существенно различается. Данные в оперативной среде всегда являются текущими. Данные в хранилище имеют хронологию. С точки зрения временного горизонта пересечение между оперативной средой и средой хранилища данных минимально. Хранилище данных содержит агрегированные (итоговые) данные, которые никогда не включаются в оперативную среду. Передача данных из оперативной среды в хранилище данных сопровождается фундаментальными преобразованиями. Большинство данных при поступлении в хранилище видоизменяется. Источником почти всех данных среды хранилища данных являются оперативные среды. Может возникнуть ощущение, что существует огромная избыточность данных в обеих средах. Однако на практике избыточность данных в средах минимальна, поскольку: При передаче данных из оперативной среды в хранилище данных эти данные фильтруются. Многие данные вообще никогда не выгружаются из оперативной среды. В хранилище данных передается только информация, используемая для обработки в системе поддержки принятия решений. Временной горизонт в средах существенно различается. Данные в оперативной среде всегда являются текущими. Данные в хранилище имеют хронологию. С точки зрения временного горизонта пересечение между оперативной средой и средой хранилища данных минимально. Хранилище данных содержит агрегированные (итоговые) данные, которые никогда не включаются в оперативную среду. Передача данных из оперативной среды в хранилище данных сопровождается фундаментальными преобразованиями. Большинство данных при поступлении в хранилище видоизменяется.

Вопрос 3. Источники и структура данных для их хранилищ В общем случае модель данных современных Систем Поддержки Принятия Решений (СППР) строится на основе пяти классов данных: источники данных, хранилища данных (в узком смысле), оперативный склад данных, витрины данных, метаданные. В общем случае модель данных современных Систем Поддержки Принятия Решений (СППР) строится на основе пяти классов данных: источники данных, хранилища данных (в узком смысле), оперативный склад данных, витрины данных, метаданные.

Источники данных Источниками данных хранилища служат оперативные транзакционные системы, которые обслуживают повседневную учетную деятельность компании. Необходимость включения той или иной транзакционной системы в качестве источника определяется бизнес- требованиями к СППР. Исходя из этих же требований, в качестве источников данных, могут быть рассмотрены внешние системы, в том числе и Интернет. Детальные данные из источников могут либо напрямую поступать в хранилище, либо предварительно агрегироваться до требуемого уровня обобщения. Источники данных Источниками данных хранилища служат оперативные транзакционные системы, которые обслуживают повседневную учетную деятельность компании. Необходимость включения той или иной транзакционной системы в качестве источника определяется бизнес- требованиями к СППР. Исходя из этих же требований, в качестве источников данных, могут быть рассмотрены внешние системы, в том числе и Интернет. Детальные данные из источников могут либо напрямую поступать в хранилище, либо предварительно агрегироваться до требуемого уровня обобщения.

Хранилище данных (в узком смысле) Хранилище данных (в узком смысле) представляет собой предметно-ориентированную базу или совокупность БД, извлекаемых из источников, которые организованы по сегментам, отражающим конкретную предметную область бизнеса: производство, правило, детальные слабо агрегированные данные. Хранилище данных (в узком смысле) Хранилище данных (в узком смысле) представляет собой предметно-ориентированную базу или совокупность БД, извлекаемых из источников, которые организованы по сегментам, отражающим конкретную предметную область бизнеса: производство, правило, детальные слабо агрегированные данные.

Оперативный склад данных (Operational Data Store - ODS) В литературе существуют разные определения этого класса данных. В частности под оперативным складом данных можно подразумевать технологический элемент хранения данных в СППР, который служит буфером между транзакционными источниками данных и хранилищем. Как было уже отмечено ранее, данные, прежде чем попасть в хранилище, должны быть преобразованы в единые форматы, очищены, объединены и синхронизированы. Например, данные, необходимые для поддержки принятия решения, могут существовать в транзакционной системе более короткое время (часы, дни), чем период пополнения данных хранилища (дни, недели). Или семантически однородные данные поступают из транзакционных систем в разное время. В этом случае оперативный склад данных служит аккумулятором данных, поступающих от источников, перед их загрузкой в хранилище. В отличие от хранилища данных информация в складе данных может изменяться со временем в соответствии с изменениями, происходящими в источниках данных. Оперативный склад данных (Operational Data Store - ODS) В литературе существуют разные определения этого класса данных. В частности под оперативным складом данных можно подразумевать технологический элемент хранения данных в СППР, который служит буфером между транзакционными источниками данных и хранилищем. Как было уже отмечено ранее, данные, прежде чем попасть в хранилище, должны быть преобразованы в единые форматы, очищены, объединены и синхронизированы. Например, данные, необходимые для поддержки принятия решения, могут существовать в транзакционной системе более короткое время (часы, дни), чем период пополнения данных хранилища (дни, недели). Или семантически однородные данные поступают из транзакционных систем в разное время. В этом случае оперативный склад данных служит аккумулятором данных, поступающих от источников, перед их загрузкой в хранилище. В отличие от хранилища данных информация в складе данных может изменяться со временем в соответствии с изменениями, происходящими в источниках данных.

Витрины данных (Data mart) Функционально ориентированные витрины данных представляют собой структуры данных, обеспечивающие решение аналитических задач в конкретной функциональной области или подразделении компании, например управление прибыльностью, анализ рынков, анализ ресурсов и проч. Иногда эти структуры хранения данных называют также киосками данных. Витрины данных можно рассматривать как маленькие хранилища, которые создаются с целью информационного обеспечения аналитических задач конкретных управленческих подразделений компании. Как правило, витрина содержит значительно меньше данных, охватывает всего несколько предметных областей и имеет более короткую историю. Витрины данных можно представить в виде логически или физически разделенных подмножеств хранилищ данных. Обычно они строятся для обслуживания нужд определенной группы пользователей. Витрины данных (Data mart) Функционально ориентированные витрины данных представляют собой структуры данных, обеспечивающие решение аналитических задач в конкретной функциональной области или подразделении компании, например управление прибыльностью, анализ рынков, анализ ресурсов и проч. Иногда эти структуры хранения данных называют также киосками данных. Витрины данных можно рассматривать как маленькие хранилища, которые создаются с целью информационного обеспечения аналитических задач конкретных управленческих подразделений компании. Как правило, витрина содержит значительно меньше данных, охватывает всего несколько предметных областей и имеет более короткую историю. Витрины данных можно представить в виде логически или физически разделенных подмножеств хранилищ данных. Обычно они строятся для обслуживания нужд определенной группы пользователей.

Метаданные это любые данные о данных. Метаданные играют важную роль в построении Систем Поддержки Принятия Решений (СППР). Одновременно это один из наиболее сложных и недостаточно практически проработанных объектов. В общем случае можно выделить по крайней мере три аспекта метаданных, которые должны присутствовать в системе. С точки зрения пользователей: метаданные для бизнес-аналитиков, метаданные для администраторов, метаданные для разработчиков. С точки зрения предметных областей: структуры данных хранилища, модели бизнес-процессов, описания пользователей, технологические и пр. С точки зрения функциональности системы: метаданные о процессах трансформации, метаданные по администрированию системы, метаданные о приложениях, метаданные о представлении данных пользователям. Метаданные это любые данные о данных. Метаданные играют важную роль в построении Систем Поддержки Принятия Решений (СППР). Одновременно это один из наиболее сложных и недостаточно практически проработанных объектов. В общем случае можно выделить по крайней мере три аспекта метаданных, которые должны присутствовать в системе. С точки зрения пользователей: метаданные для бизнес-аналитиков, метаданные для администраторов, метаданные для разработчиков. С точки зрения предметных областей: структуры данных хранилища, модели бизнес-процессов, описания пользователей, технологические и пр. С точки зрения функциональности системы: метаданные о процессах трансформации, метаданные по администрированию системы, метаданные о приложениях, метаданные о представлении данных пользователям.

Контрольные вопросы 1. Перечислите и охарактеризуйте подсистемы хранилища данных. 2. Охарактеризуйте ориентированность на предметную область или ряд предметных областей, как свойство хранилищ данных. 3. Охарактеризуйте интегрированность, как свойство хранилищ данных. 4. Охарактеризуйте зависимость от времени (поддержка хронологии), как свойство хранилищ данных. 5. Охарактеризуйте постоянство, как свойство хранилищ данных. 6. Дайте определение и характеристику источников данных. 7. Дайте определение и характеристику хранилища данных (в узком смысле). 8. Дайте определение и характеристику оперативного склада данных. 9. Дайте определение и характеристику витрин данных. 10. Дайте определение и характеристику метаданных. 1. Перечислите и охарактеризуйте подсистемы хранилища данных. 2. Охарактеризуйте ориентированность на предметную область или ряд предметных областей, как свойство хранилищ данных. 3. Охарактеризуйте интегрированность, как свойство хранилищ данных. 4. Охарактеризуйте зависимость от времени (поддержка хронологии), как свойство хранилищ данных. 5. Охарактеризуйте постоянство, как свойство хранилищ данных. 6. Дайте определение и характеристику источников данных. 7. Дайте определение и характеристику хранилища данных (в узком смысле). 8. Дайте определение и характеристику оперативного склада данных. 9. Дайте определение и характеристику витрин данных. 10. Дайте определение и характеристику метаданных.