Управление свободным пространством на файловой системе в UNIX и Linux Дмитрий Трубач. IBA

Изменение ценности данных различных типов со временем. Ценность данных/ частота обращений Дней Мес Год 5 Лет 10 Лет Дней День Дней Мес. Источник: Enterprise Storage Group MPEG Документы Коды программ Базы данных

Иерархическая организация хранилищ данных Наиболее часто используемые данные Данные требуются время от времени Данные, возможно, никогда не потребуются, но хранить их нужно Стоимость за Mb Быстродействие

Схема работы TSM for Space Management Ценность данных/ частота обращений Дней Мес Год 5 Лет 10 Лет Дней День Дней Мес. Источник: Enterprise Storage Group Возврат файлов Миграция файлов Сервер с установленным TSM клиентом Заполненность хранилища данных Пользов атели TSM сервер Хранилищ е данных

Компоненты TSM Ценность данных/ частота обращений Мес Год 5 Лет 10 Лет Мес. Источник: Enterprise Storage Group Демон сканирования (dsmscoutd) Демон привилегированного доступа (dsmrootd) Демон возврата (dsmrecalld) Реконциляция (dsmreconcile) Миграция (dsmmigrate, dsmautomig) Восстановление после удаления (dsmmigundelete) Следит за событиями чтения/записи файлов на управляемой файловой системе. Осуществляет возврат файлов с сервера Осуществляет сканирование файловой системы для поиска наиболее подходящих кандидатов для миграции Демон мониторинга (dsmmonitord) Предоставляет привилегированный доступ к некоторым сервисам файловой системы для компонент TSM, вызываемых обычными пользователями Осуществляет контроль уровня свободного пространства на файловой системе. При необходимости запускает процедуру автоматической миграции. Выполняет пересылку файлов на сервер. Вместо посланного на сервер файла помещает ярлык на локальную файловую систему. Выполняет синхронизацию данных, находящихся на сервере, с текущим состоянием данных на локальной файловой системе Восстанавливает ошибочно удаленные ярлыки к мигрированным файлам

Автоматическая миграция при росте объема данных верхний порог нижний порог При достижении верхнего порога занятости, запускается автоматическая миграция данных, пока уровень занятости файловой системы не станет равным заданному нижнему порогу Уровень занятости локальной файловой системы в % от ее объема время Данные на локальном хранилище Данные на TSM сервере Верхний порог занятости установлен в 90%, нижний в 70%

Механизм миграции файла Файл до миграции Файл после миграции TSM сервер dsmmigrate/dsmautomig ярлык (~4K) пустая область (sparse) атрибут ы DMAPI данные ID … … …

Использование DMAPI в TSM 10 Лет Приложение пользователя TSM for Space Management Извлечение файла из сервера read() Возврат из read() User - пространство Kernel - пространство Инициализация DMAPI Ожидание события Запись отсутствующих блоков файла Пользовательский процесс приостановлен Генерация события DMAPI Ответ на событие

Логическая структура Juelich Storage Cluster (JUST) 4 TSM Server P5-55A Force 10 E Ports (10GigE) Management Server P5-520 /work /arch /home 8 x 36 TB 96 TB 288 TB

Объемы ежедневно мигрируемых данных на /arch

Управление свободным пространством на файловой системе в UNIX и Linux Дмитрий Трубач р.т. : спасибо за внимание