ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM Кирилл Колотыгин. IBA

Введение ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM В связи с постоянно растущим объёмом хранимых данных у многих компаний возникает потребность мигрировать некоторую часть данных на носители с низкой стоимостью хранения. При этом компаниям хотелось бы сохранить неизменной структуру данных (расположение файлов на диске) и их доступность.

Введение ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM Какие существуют варианты решения?

ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM 4

Введение ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM Наиболее грамотное решение – применение специализированной технологии управления хранением данных.

Введение ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM HSM (Hierarchical Storage Management) технология хранения данных, автоматически распределяющая данные между дорогими и дешёвыми накопителями. Системы с HSM хранят основную массу данных на медленных устройствах большого объёма, используя более быстрые накопители в качестве кэша.

Введение ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM Как реализовать HSM на Windows?

Reparse points как особенность файловой системы NTFS ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM Reparse Points (точки повторной обработки) возможность, появившаяся в NTFS 5.O. Позволяют выполнять при открытии папки или файла заранее созданный программный код. Точка повторной обработки представляет собой контролируемый системой (с помощью специального фильтра) атрибут, который может быть ассоциирован с папкой или файлом.

Reparse points как особенность файловой системы NTFS ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM Фильтр выполняет заранее определенный код, предназначенный для управления процессом доступа. В атрибуте можно сохранить информацию, имеющую значение для соответствующего фильтра. Например, информацию о том, где физически находятся данные из файла.

HSM for Windows: Использование технологии RP ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM Возможности технологии RP позволяют использовать её для реализации иерархического управления хранением данных (HSM) на ОС Windows.

ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM HSM for Windows IBM Tivoli Storage Manager HSM for Windows (далее - HSM for Windows) – продукт из семейства IBM Tivoli Storage Manager (ITSM). HSM for Windows автоматически перемещает неактивные данные, чтобы освободить дисковое пространство для важных активных данных.

ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM HSM for Windows: Механизм работы HSM клиент посылает копию файла на сервер и оставляет на файловой системе только ярлык (миграция файла). Ярлык файла с reparse point находится на файловой системе, сами данные из файла – на сервере на носителе с более низкой стоимостью хранения (например, лента).

Storage Pool HSM Archive Что происходит во время миграции файла? HSM клиент … Зачитывает данные Пересылает данные на TSM server (используя TSM API ) Обрубает файл, оставляя только ярлык с RP (stub) Файловая система File A Windows File Server TSM HSM клиент TSM Server TSM Server File AStub A миграция TSM API Resident Migrated ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM HSM for Windows: Миграция файла

ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM 14

ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM HSM for Windows: Механизм работы Доступ к данным – прозрачен и незаметен для пользователя. После обращения любого пользовательского приложения к мигрированному файлу, операционная система зачитывает информацию из reparse point и обращается за данными к указанному там сервису. Он восстанавливает данные с сервера на файловую систему, приложение получает запрошенные данные.

16 Файловая система TSM Server Windows File Server Storage Pool TSM HSM Client TSM Server fileAFile AFile XFile A fileCfileBfileA fileB fileC … … … 1: Запрос 2: Ответ – возврат списка файлов на сервере 3: Создание и заполнение контейнера fileC 4: Сканирование раздела X X X 5a: Сканирование контейнера 5b: Удаление с сервера исчезнувших файлов … fileX HSM for Windows: синхронизация данных ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM Удалённые с локальной машины данные должны быть удалены и с сервера.

Примеры из практики ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM Какой выигрыш может дать внедрение HSM for Windows?

Примеры из практики: Mizuho Information & Research Institute, Inc Проблема В результате сильно возросшего объёма данных потребовалось эффективное решение по управлению данными, предоставляющее быстрый доступ к необходимым данным. ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM

Примеры из практики: Mizuho Information & Research Institute, Inc Решение Установлен TSM HSM for Windows. Организовано иерархическое управление хранением данных (hierarchical storage management - HSM). ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM

Примеры из практики: Mizuho Information & Research Institute, Inc Выигрыш уменьшение затрат на хранение данных на 30-40%. ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM

Примеры из практики: Pilatus Aircraft Ltd Проблема Компания нуждалась в решении, которое бы компенсировало потерю части хранилищ и покрывало последующий рост объёмов данных. ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM

Примеры из практики: Pilatus Aircraft Ltd Требования заказчика Решение должно делать различие между часто и редко используемыми данными. Данные должны быть видны и доступны пользователю через Проводник Windows в обычном порядке. ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM

Примеры из практики: Pilatus Aircraft Ltd Решение Использование TSM HSM for Windows обеспечило: Возможность контроля роста данных в хранилищах путём перемещения редко используемых файлов на приемлемые по стоимости носители. максимизизацию показателя затраты- эффективность для используемых хранилищ данных. ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM

Примеры из практики: Pilatus Aircraft Ltd Выигрыш экономия до $ за счёт перемещения части данных на более дешёвые носители. перемещённые данные по прежнему доступны для пользователей и приложений через привычные для них интерфейсы ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM

спасибо за внимание ИСПОЛЬЗОВАНИЕ NTFS REPARSE POINTS НА ПРИМЕРЕ WINDOWS HSM Кирилл Колотыгин р.т. :