КОНОПЛЕВ В.В., НАЗИРОВ Р.Р. ИКИ РАН ИНФОКОММУНИКАЦИОННЫЕ ТЕХНОЛОГИИ В НАУЧНЫХ ИССЛЕДОВАНИЯХ ТАРУСА, НОЯБРЬ 2012 Экспериментальное вычислительное "облако" на базе OpenStack для информационной поддержки научных проектов ИКИ РАН При поддержке Президиума РАН / Программа П-14

Виртуализация и облачные вычисления Software As A ServicePlatform As A ServiceInfrastructure Аs А Service«Иерархия» облачных сервисов Технологии виртуализации

Что нам дает виртуализация Для центра данных Консолидация вычислительных ресурсов Решение проблем безопасности Для конечных пользователей Свобода выбора системного ПО Функции системного администрирования Предоставления гарантий на вычислительные ресурсы

Облачный контролер Централизованное управление и мониторинг ресурсов ЦОД: Уменьшение вероятности ошибок конфигурации Уменьшение операционных расходов Автоматическое планирование распределения ресурсов Уменьшение времени инсталляций сервисов Повышение доступности сервисов Уменьшение себестоимости услуг

OpenStack: платформа для создания облачных сервисов IAAS nova-compute nova-network KEYSTONE (сервис идентификации) SWIFT (объектное хранилище) GLANCE (сервис образов) NOVA (сервис вычислений) nova-scheduler nova-volume Объектное хранилище LVM/ISCSI Message queue Database

Запуск виртуальной машины в OpenStack Объектное хранилище (glance) Блочное хранилище ISCSI (nova-volume) Сервер сообщений СУБД Управляющий узел nova-compute Вычислительный узел Локальная ФС Гипервизор VM образ VM и доп. диски Планировщик (nova-scheduler)

Способы «развертывания» образов виртуальных машин на вычислителях ПараметрЛокально 1Локально 2SANNAS BW IOPS Надежность Преемств. Стоимость Локально 1 – сервера с 2 дисками (RAID1) Локально 2 – сервера с 6-8 дисками (RAID6) SAN – подключение блочных устройств по ISCSI или FC NAS – монтирование по NSF или Lustre

Особенности инсталляции OpenStack в ИКИ РАН Центральный узел (2 x Xeon GB RAM) Общее хранилище 48 TB: 24 hdd х 2TB ZFS NFS Рабочие узлы: Xeon X GB RAM Объектное хранилище Блочное хранилище Зона развертывания VM

Файловая система ZFS ZFS ФАЙЛОВАЯ СИСТЕМА МЕНЕДЖЕР ТОМОВ ПРОГРАМНЫЙ «РЕЙД» ARC L2ARC ZPOOL RAM SSD HDD Многоуровневый КЭШ ARC Адаптивный КЭШ (ARC) Буфер LRUБуфер LFU Адаптивная граница

INFINIBAND: экономические предпосылки GE (10 Gbps)IB x4 DDR (20 Gbps) Коммутатор 24 порта Адаптеры (24 шт.) Кабели (24 шт.)2496 Цена/подключение3627 Экономические предпосылки: Сравнительная стоимость компонент (т.р.) Технология Infiniband дает выигрыш более 2.5 раз по параметру пропускная_способность/стоимость перед технологией GE

INFINIBAND: производительность хранилища (под данным Mellanox Technologies Whitepaper) Вывод: в режиме RDMA технология Infiniband дает выигрыш более 5-ти раз (!!!) по параметру производительность/стоимость перед технологией GE

Полоса пропускания MB/s для разных инсталляций Метод/ИнтерконнектZVOL/ISCSI/EXT4ZFS/NFS GE8044 IPoIB–-220 IB RDMA (iSER)160–-

Итоги/Впечатления Платформа OpenStack – функциональный и масштабируемый продукт. К сожалению содержит довольно много программных ошибок, исправление которых не поспевает за выходом новых версий. Файловая система ZFS как «бэкэнд» для систем хранения представляется довольно перспективной. Портирована на Linux со статусом RC. Имеет проблемы с устойчивостью под Linux, однако сообществом не было отмечено случаев потери данных вследствие программных ошибок. Технология Infiniband представляется наилучшим вариантом для построения высокоскоростных распределенных файловых хранилищ, в частности для организации «облачных» сервисов.