FastTrack Data Warehouse Иван Косяков Technology Architect, MTC Moscow Особая благодарность Алексею Халяко из SQLCAT

Data Quality Real-Time DW and Streaming Data Advanced Analytics MPP MDM Secure and Robust Key Trends MPP (Parallel Data Warehouse) Master Data Services Database Security StreamInsight (Streaming Data) StreamInsight Data Quality (Zoomix) (Zoomix) Microsoft has steadily invested in the most important data warehouse technologies Column Store (Project Apollo) Column Store (Project Apollo) Data Warehouse Industry Trends

Реляционные хранилища на SQL Server сегодня Тысячи реализаций > 1 TB Множество реализаций > 5 TB Разные подходы Связь с SQL Sever BI продуктами Импульс - сильный поток нововведений (Resource Governor, Compression, Star Query, …) Следующий революционный шаг – Parallel Data Warehouse (PDW)

Некоторые SQL хранилища сегодня Большой SAN; Самый большой 64-ядерный сервер! Что не так на этой картинке?

Не сбалансированная система Сервер может потреблять 16 Гбайт/c операций ввода-вывода, SAN может «выдать» только 2 Гбайт/с (даже если SAN выделен только под SQL Data Warehouse, что обычно не так) Множество дисков для Random IOPS, но ограниченное количество контролеров ограниченная пропускная способность ввода-вывода Система «привязана» к оборудованию ввода-вывода; запросы выполняются медленно (и это при существенных инвестициях в сервер и хранилище)

DW против OLTP База данных Фокус на аналитических операциях: стратегия Оптимизирована для массивных вставок данных, сложные и тяжело предсказуемые запросы Несколько одновременных пользователей Система хранения Фокус на операциях чтения Оптимизация для scan операций, а не seek Оптимизация хранилища с фокусом на disk scan rate (MB/s) База данных Разработана для операционных задач: тактика Оптимизация для транзакций: вызоводной строки Тысячи одновременных пользователей Система хранения Фокус на скорости выполнения транзакций Оптимизация для seek, а не scan операций Хранилище оптимизированно для I/O операций (IOPs)

Новый путь: быстрые оптимизированные решения Широкая применимость Определенная нагрузка Сконфигурированы Интегрированное управление Поддерживаются сообществом экспертов Сбалансированы

НагрузкаАрхитектура Программное обеспечение Аппаратное обеспечение The Appliance Engineering Approach Каждое решение учитывает четыре элемента Основано на полном понимании нагрузки Все компоненты следуют архитектуре

Диапазон потребностей Хранилище подразделения Дополнительная витрина Хранилище предприятия

Решения для хранилищ данных Построенные самостоятельно Business DW Appliance DL370DL380/5DL580/5DL980/5 Enterprise DW Appliance (PDW)

Архитектура компонентов FastTrack DW Server Windows Server OS SQL Server Storage Interconnect Storage Enclosure Disk Array Host Storage Adaptor Storage Processor

Сбалансированная система – ввод-вывод Максимальная теоретическая пропускная способность IO стека оптимизированного для 8 ядерной Fast Track архитектуры (предполагая 200 MB/s на ядро) CPU Socket (4 Core) CPU Socket (4 Core) CPU Socket (4 Core) CPU Socket (4 Core)