ДЕДУПЛИКАЦИЯ. НЕТ ГРОМОЗДКИМ ЛЕНТОЧНЫМ БИБЛИОТЕКАМ. Сергей Верчёнов ИНЖЕНЕР КОМПАНИИ КРОК

А ЧТО У ВАС С РЕЗЕРВНЫМ КОПИРОВАНИЕМ? Копирование всех данных на ленту Отправка лент в хранилище [?] Обычное резервное копирование В неделю копируется до 200% объема данных (full+ incr, часто больше) Скорость резервного копирования далека от идеальной Скорость восстановления «такова, какова она есть» Риск потери данных из-за невозможности восстановления [>10%] 2

ОЧЕВИДНЫЙ ВЫХОД – ПЕРЕХОД К КОПИРОВАНИЮ НА ДИСК Дисковые системы быстрее.. (Особенно при восстановлении) Дисковые системы надежнее.. (RAID, Кэш с батарейкой, дублирование компонентов и т.п.) Дисковые системы проще в управлении.. Дисковые системы проще и безопаснее при развертывании удаленного хранилища резервных копий.. Дисковые системы стремительно развиваются и дешевеют.. PRIMARYTAPE PRIMARY SATA & RAID TAPE PRIMARY SATA & RAID & DE-DUPE TAPE 3

КЛЮЧ К ЭФФЕКТИВНОМУ ХРАНЕНИЮ – ДЕДУПЛИКАЦИЯ ДАННЫХ Факты : Развертывание систем с дедупликацией прогрессирует необычно быстро для достаточно новой технологии. Влияние на рынок: Gartner рассматривает эту технологию как революционную, потому что она радикально снижает стоимость резервного копирования и восстановления с использованием дисков... …игнорировать ее невозможно. Рекомендации: …убедитесь, что вашу организацию устраивает надежность и зрелость предлагаемого вендором решения. Source: Dave Russell, Gartner. К 2012 г. дедупликация будет использоваться в 75% всех СРК. 4

КАК РАБОТАЕТ ДЕДУПЛИКАЦИЯ? Алгоритм: Разбиение потока данных на блоки переменной длины Вычисление сигнатуры (хэша) для каждого блока Сохранение только уникальных блоков в сжатом виде Результат: возможность упаковать 10 TB резервных копий в 1 TB дискового пространства = снижение стоимости хранения, возможен отказ от лент, эффективная репликация и т.п. 5

ЧТО ЖЕ ДАЕТ ДЕДУПЛИКАЦИЯ? «Тормозит» процесс роста данных Упрощает управление данными, позволяет хранить дольше Упрощает восстановление в случае сбоя Снижает стоимость хранения данных Позволяет отказаться от хранения данных на лентах Уменьшение загрузки сети Уменьшает объем (10-30 раз) и окно бэкапа 6

Типы данных Больше создаваемых пользователями файлов, неструктурированные данные* = больше коэффициент дедупликации *Зашифрованные и сжатые данные – не идеальный вариант для дедупликации Типы данных Больше создаваемых пользователями файлов, неструктурированные данные* = больше коэффициент дедупликации *Зашифрованные и сжатые данные – не идеальный вариант для дедупликации ФАКТОРЫ, ВЛИЯЮЩИЕ НА ДЕДУПЛИКАЦИЮ Степень изменения данных Меньше изменений = больше коэффициент дедупликации Степень изменения данных Меньше изменений = больше коэффициент дедупликации Период хранения Дольше период хранения данных = больше коэффициент дедупликации Период хранения Дольше период хранения данных = больше коэффициент дедупликации Соотношение уровней копирования Больше полных бэкапов = больше коэффициент дедупликации Соотношение уровней копирования Больше полных бэкапов = больше коэффициент дедупликации 7

ДЕДУПЛИКАЦИЯ EMC: ВАРИАНТЫ Дедупликация на источнике (EMC Avamar) Уменьшение объема хранения до 50 раз Сокращение трафика до 500 раз Сокращение времени резервного копирования до 10 раз Скорость восстановления – десятки МБ/с Avamar Server Дедупликация на устройстве (EMC Data Domain) Уменьшение объема хранения до 20 раз Интеграция с существующими системами резервного копирования Скорость восстановления - сотни МБ/с de-duplication device BBBBBB Backup Server Область дедупликации 8

9

Сеть На уровне источника (дедупликация осуществляется именно тут): 1.Разбиение данных на блоки переменной длины 2.Определение уникальности блока – находится ли он уже в хранилище? 3.Копирование только уникальных блоков 4.Пересылка сжатых и шифрованных данных малого объема AVAMAR: ДЕДУПЛИКАЦИЯ НА КЛИЕНТЕ Avamar Data Store HH O HH O HH O HH O HH OH На уровне хранилища: Координированная дедупликация между сайтами, серверами и во времени 10

ПОЧЕМУ AVAMAR? Целостное и автономное решение для бэкапа, программно-аппаратный комплекс Сокращает окно бэкапа, уменьшает нагрузку на сеть Высокая доступность данных и отказоучтойчивость всех компонент решения Гибкая конфигурация «под вашу» среду: Avamar Data Store Avamar Virtual Edition Восстановление из полного бэкапа за один шаг Существенно выше надежность бэкапа (по сравнению с записью на ленту) Увеличение отдачи от вложенных средств Avamar VM 11

Avamar Data Store Многоузловые конфигурации масштабируются от 4 ТБ до 52 ТБ дедублицированной емкости Это эквивалентно 1.1 ПБ обычного хранения на дисках или лентах* Требования к емкости снижаются в 20–40 раз Доступность и надежность RAIN, RAID Avamar Data Store Single Node Бывают емкостью 1 ТБ, 2 ТБ, 3.3 ТБ для хранения дедублицированных данных Это эквивалентно 70 ТБ обычного хранения на дисках или лентах * Простое удаленное развертывание Дают возможность быстрого восстановления без зависимости от канала WAN * Предположение: 100 % данных - файлы Microsoft Office, еженедельные полные и дневные инкрементальные копии, без компрессии, скорость изменения данных 10 % в день, срок хранения копий 90 дней СЕРВЕРНАЯ ЧАСТЬ: AVAMAR DATA STORE 12

AVAMAR VIRTUAL EDITION FOR VMWARE Первый в отрасли виртуальный комплекс для дедупликации резервных копий, операционного и аварийного восстановления Использование существующих серверов ESX и ресурсов хранения Репликация устраняет необходимость перевозки лент Поддержка vMotion для гибкого внедрения Два виртуальных программно-аппаратных комплекса Avamar Virtual Edition для VMware на один сервер VMware ESX Сервер Avamar в качестве виртуальной машины Avamar ВМ Пул ресурсов Уровень виртуализации VMware Архитектура x86 Avamar ВМ Avamar ВМ Виртуальный программно- аппаратный комплекс 13

ПРЕИМУЩЕСТВА EMC AVAMAR Снижение нагрузки при резервном копировании Уменьшение времени резервного копирования Сокращение нагрузки на серверы Сокращение нагрузки на сеть Снижение стоимости резервного копирования Копия занимает значительно меньше места Меньше требования к пространству хранилища Централизованное удаленное копирование Использование низкоскоростных каналов передачи данных Централизация средств резервного копирования для удаленных офисов На удаленных площадках больше не требуется инфраструктура и персонал для резервного копирования 14

AVAMAR: ГДЕ ИСПОЛЬЗУЕМ? Резервный ЦОД Основной ЦОД Бэкап на Avamar Virtual Edition, репликация на Avamar Data Store в Основном ЦОД Бэкап на локальный Avamar Data Store, репликация на Avamar Data Store в Основном ЦОД Бэкап на Avamar Data Store в Основном ЦОД SMALL REMOTE OFFICE Рабочие станции /ноутбуки LARGE REMOTE OFFICE Виртуальная инфраструктураVMware VMware ESX Минимизация WAN трафика, централизованное управление Бэкап Guest или Image уровня – уменьшение влияния на ESX Репликация минимальных объемов данных Минимизация WAN трафика, централизованное управление Полный бэкап NAS-устройств по NDMP 15

AVAMAR: ГДЕ ИСПОЛЬЗУЕМ? Интеграция с приложениями: Oracle Microsoft SQL Server Microsoft Office SharePoint Microsoft Exchange Server IBM DB2 Lotus Notes NDMP Операционные системы: Microsoft VMware Microsoft Server 2008 Hyper-V AIX HP Solaris Red Hat SuSE Novell MacOS Схемы резервного копирования: VMware ESX VirtualRemote OfficesDesktop/LaptopNAS Storage Инфраструктура: EMC Avamar Software EMC Avamar Virtual Edition for VMware EMC Avamar Data Store Avamar VM 16

17

Сеть DATA DOMAIN: ДЕДУПЛИКАЦИЯ НА ЦЕЛЕВОМ УСТРОЙСТВЕ Replication CIFS, NFS, NDMP, DD Boost Ethernet Virtual Tape Library (VTL) over Fibre Channel DD appliance Control TierTarget TierDisaster Recovery Tier Параметры DD890: 2U 2 to 10 ports 10 and 1 Gigabit Ethernet; 8 Gb/s Fibre Channel RAID 6 Up to 285 TB usable capacity with shelves DD appliance Backup and Archive Applications HH O HH O HH O HH O HH OH 2 TB or 1 TB 7.2K rpm SATA HDD in shelf File system NVRAM N+1 fans and redundant, hot-plug power supplies 18

Post Process: Дедупликация после записи на диск Дедупликация затрагивает процессы: Копирование на ленту: медленное решение для потоковой передачи данных на ленту Восстановление: Увеличение параметров SLA Репликация: Медленная передача данных на резервную площадку Дедупликация «наслаивается» на процесс копирования/восстановления Затраты на персонал для устранения этих проблем МЕТОДОЛОГИЯ: ДЕДУПЛИКАЦИЯ INLINE VS. POST-PROCESS Дедупликация практически не влияет на другие процессы Предсказуемость Простота Inline: Дедупликация до записи на диск ДедупликацияЗапись В 3 раза больше обращений к диску Дедупликация 19

Legacy Z/OS – AS/400 – Non-Stop – Clients Database Archive DATA DOMAIN: ГДЕ ИСПОЛЬЗУЕМ? Backup VCB VMware Retention Lock 20

ЭФФЕКТИВНАЯ РЕПЛИКАЦИЯ ДАННЫХ 95–99% уменьшение загрузки WAN-каналов Источник: Удаленные площадки Централизованное хранилище Поддержка сотен удаленных площадок 1–5% Archive data Backup data Data Domain Global Deduplication Array Data Domain system Гибкая репликация: One-to-many Many-to-one Bi-directional System-to-system Cascaded Home DB WAN Home Data Domain system 21

ФУНКЦИОНАЛ DD BOOST (OST) Осуществляет «перенос» части процесса дедупликации на сервер резервного копирования Поддержка основных продуктов на рынке EMC NetWorker Symantec NetBackup and Backup Exec Ускоряет процесс копирования вплоть до 50 процентов Позволит копировать больше с имеющимся оборудованием 20–40 % снижения общего воздействия на сервер бэкапа 80–99 % снижения воздействия на сеть Позволит управлять репликацией Data Domain из приложения резервного копирования DD Boost 22

ПРОДУКТЫ DATA DOMAIN DD140DD610DD630DD670DD860DD890 Global Deduplication Array DD Archiver Speed (DD Boost) 490 GB/hr1.3 TB/hr2.1 TB/hr5.4 TB/hr9.8 TB/hr14.7 TB/hr26.3 TB/hr9.8 TB/hr Speed (other)450 GB/hr675 GB/hr1.1 TB/hr3.6 TB/hr5.1 TB/hr8.1 TB/hr10.7 TB/hr4.3 TB/hr Logical capacity9–43 TB40–195 TB84–420 TB0.6–2.7 PB1.4–7.1 PB2.9–14.2 PB5.7–28.5 PB Raw capacity1.5 TBUp to 6 TB Up to 12 TB Up to 76 TB Up to 192 TB Up to 384 TB Up to 768 TB Usable capacity0.86 TBUp to 3.98 TB Up to 8.4 TB Up to 55.9 TB Up to 142 TB Up to 285 TB Up to 570 TB Software options: DD Boost, DD Virtual Tape Library, DD Replicator, DD Retention Lock, and DD Encryption DD140 Remote Office Appliance DD600 Appliance Series DD Archiver Global Deduplication Array DD800 Appliance Series 23

ПРЕИМУЩЕСТВА EMC DATA DOMAIN Дедупликация в реальном времени –Минимизация требуемого пространства –Эффективная репликация –Предсказуемая производительность и простота управления Правильная архитектура –Максимальная производительность при минимуме дисков –Сквозная проверка целостности –Открытость Зрелость решения –Более систем установлено –Средний уровень дедупликации 17.4:1 –В среднем одна открытая эскалация в службе техподдержки –Система, которая «просто работает» 24

ДЕМОНСТРАЦИЯ DATA DOMAIN 25

КОГДА ЧТО ИСПОЛЬЗОВАТЬ? Требуется защита виртуальных серверов, удаленных офисов, рабочих станций, серверов объемом до 500 ГБ –EMC Avamar Требуется защита больших объемов данных с восстановлением по SAN, интеграция различных технологий, поддержка лент или дисковых систем –Традиционное ПО (например, EMC NetWorker) –..и EMC Data Domain 26

СПАСИБО ЗА ВНИМАНИЕ! Сергей Верчёнов ИНЖЕНЕР КОМПАНИИ КРОК Тел.:(945) (4626)