О технологии Грид и ее использовании Ю.Ф.Рябов

Содержание Предпосылки создания и концепции технологии Грид Проект EGEE Национальные Грид инициативы Российский Грид Опорная сеть СПбНЦ (РОКСОН) Информация для контактов

Эволюция интернета Совместно используемые ресурсы - Grid Совместно используемая информация - World Wide Web Сети соединяющие локальные ресурсы Совместно используемые сети

Что такое Grid? GRID - некоторая аналогия с электрическими сетями (power grid), предоставляющими всеобщий доступ к электрической мощности.

Предпосылки создания Грид обусловлены Стремительным развитием сетевой транспортной среды и технологий высокоскоростной передачи данных. Наличием во многих организациях вычислительных ресурсов (часто кластеров) Необходимостью решения сложных научных, инженерных и бизнес-задач

Компьютерные сети Производительность –Вычислительные скорости удваиваются каждые 18 месяцев –Скорости сетей удваиваются каждые 9 месяцев –Разница на целый порядок за 5 лет –компьютеры: x 500 –сети: x –компьютеры: x 60 –сети: x 4000

Цели создания Грид-инфраструктуры Среди основных целей создания Грид на данный момент можно выделить: организация эффективного использования ресурсов решение крупных задач, требующих огромных процессорных ресурсов, памяти; вычисления с привлечением больших объемов географически распределенных данных, например, в метеорологии, астрономии, физике высоких энергий,медицине,химии и т.д. коллективные вычисления, в которых одновременно принимают участие пользователи из различных организаций..

Концепция Грид Гибкое, защищённое, координированное пользование вычислительными ресурсами между различными динамичными группами пользователей и организаций. Сделать возможным для различных групп пользователей (виртуальных организаций) совместное использование географически удалённых ресурсов при совместной работе, подразумевая отсутствие централизованного расположения вычислительных ресурсов, централизированного управления ресурсными центрами Виртуальная организация- объединение(коллаборация) специалистов из некоторой прикладной области,которые объединяются для достижения общей цели

О технологии Грид Грид Распределенная программно-аппаратная компьютерная среда с принципиально новой организацией вычислений и управления потоками заданий и данных. Компьютерная инфраструктура,предназначенная для объединения вычислительных мощностей различных организаций. На основе технологии Грид Предполагается формирование региональных, национальных и интернациональных вычислительных компьютерных инфраструктур, предназначенных для решения крупных научно-технических задач. В идеальном случае пользователя не будет интересовать, где находятся используемые им ресурсы.

О технологии Грид виртуализация ресурсов концепция разделения и совместного использования логических и физических устройств в сети. среда, в которой объединены находящиеся в разных местах глобальной телекомунникационной сети вычислительные ресурсы и которая предназначена для выполнения распределенных приложений, использующих эти ресурсы технология распределенных вычислений в Интернете впервые серьезно ставится вопрос о гарантированном качестве обслуживания. новое поколение Интернета.

До Grid Пользователи из многих центров нуждаются в распределённых ресурсах. Научные эксперименты, хранилища данных, результаты компьютерной обработки поставляют огромные массивы данных Различные протоколы и способы доступа – FTP, telnet, кровь, пот и слёзы… и очень слабая поддержка совместной работы в коллаборациях

Вместе с Grid Объединенные сетью центры обработки данных и соответствующее программное обеспечение (middleware) - как элемент, склеивающий ресурсы Пользователи используют ресурсы, общаются с коллегами, имеют доступ к данным независимо от своего местоположения. Научные эксперименты, хранилища данных, результаты компьютерной обработки поставляют огромные массивы данных

ППО Грид (middleware)

Службы Грид (gLite) Доступ в Грид Интерфейс Пользователя Управление заданиями Управление данными Безопасность Информация и мониторинг Служба регистрации сервисов Авторизация Аутентификация Информационная служба и мониторинг Каталог метаданных Элемент хранения Передача данных Каталог файлов и реплик Вычислительный элемент Выбор ресурса и загрузка заданий

Ресурсы брокер ресурсов принимает задание от пользователя согласует требования к ресурсам, содержащиеся в описании задания, с имеющимися в наличии свободными ресурсами и направляет задание на подходящий сайт. 25 Выбор ресурса

Типы грид-систем с позиций решаемых задач Вычислительный Грид для махимальной скорости вычислений за счет распределения задач между различными центрами (Computational Grid); Грид для интенсивной обработки огромных массивов данныхданных (Data Grid); Семантический Грид для оперирования данными из различных баз данных (Semantic Grid);

Разномасштабные Гриды Грид кампуса Региональный грид (напр. BalticGrid) Национальный грид Международный грид (EGEE) Шире сотрудничество, больше ресурсов Национальные центры данных, МВЦ, экспериментальные установки Интситутские данные; кластеры Международные проекты,..

EGEE проект EGEE-Enable Grid for E-sciencE = Развертывание Грид-инфраструктуры для науки

Основные цели и задачи проекта EGEE Обеспечить создание высокопроизводительной продукционной GRID инфраструктуры, ее поддержку и развитие Предоставлять круглосуточный доступ к вычислительным ресурсам независимо от их географического положения Объединить национальные, региональные и тематические грид-разработки в единую цельную грид-инфраструктуру для поддержки научных исследований Привлекать пользователей из различных сфер деятельности (медицина, экономика, культура,… ) и обеспечить им высокий уровень обучения и поддержки

Участники и ресурсы EGEE 237 центров в 45 странах ~ CPU ~ 5 PB дисковой памяти, + tape распределённое управление >200 ВО из различных областей науки 98k зад./день

Мониторинг узлов EGEE

Приложения в EGEE для экспериментов на ускорителе БАК (ATLAS, CMS, ALICE, LHCb)-LCG биомедицина и биоинформатика GATE - медицинская томография и планирование процедур радиотерапииGATE gPTM3D - Грид-ориентированные методы сбора, обработки и анализа трёхмерных радиологических изображений человеческих органов, gPTM3D Mammogrid - проект, посвящённый созданию всеевропейской базы данных маммограмм Mammogrid : портал по биоинформатике, посвящённый различным средствам для анализа CDSS - клиническая система поддержки принятия решенийCDSS моделирование взаимодействия потенциальных лекарств с белками-мишенями (проект WISDOM )WISDOM

Необходимость ГРИД для БАК Объём получаемых данных LHC соответствует 20 миллионам записанных CD дисков в год. Где их хранить? Анализ данных LHC потребует вычислительных мощностей, эквивалентных мощности самых современных процессоров. Где их взять? Ресурсы ЦЕРН уже сейчас составляют более х процессорных ПК и 1 Пб памяти на дисках и на лентах. Но этого мало!!! Конкорд (15 Км) Воздушный шар (30 Км) Стопка CD дисков с данными БАК за 1 год (~ 20 Км) Монблан (4.8 Км)

Топология сети для обработки данных с БАК

Проект WISDOM Приложение Drug Discovery, позволяющее вычислять вероятность прямого контакта между потенциальным лекарством и белком-мишенью Первый в истории биомедицины сеанс массовой обработки данных Исследовано 46 миллионов посадочных лиганд Получено более 1 Тб данных Были использованы ~1000 компьютеров из 15 стран, что составляет приблизительно 80 машино/лет Средний фактор ускорения - 600

Другие области, использующие инфраструктуру EGEE Науки о Земле: наблюдения за поверхностью Земли со спутников, гидрология – проникновение морской воды в прибрежный водоносный слой, климатология – прогнозирование наводнений, физика Земли - численное моделирование землетрясений. Геофизика (промышленное приложение Geocluster)Geocluster Астрофизика (проекты MAGIC, Planck, ANTARES, NEMO)MAGICPlanckANTARESNEMO Термоядерный синтез (проект ITER)ITER Вычислительная химия (проекты CHARON, CompChem)CHARONCompChem Археология Финансовые приложения (проект EGRID)EGRID …………………………………………………………………………….. (Всего свыше 200 виртуальных организаций)

Проекты с EGEE EGEE EGEE-II EGEE-III Проекты,представленные на конференции EGEE07

Взаимодействие проекта EGEE с Грид проектами по бизнесу EGEE Business Associates Program

Национальные ГРИД инициативы Англия UK National Grid Service Австрия Austrian Grid Initiative Бельгия BEgrid Болгария Bulgarian Grid Consortium, BGGC, Хорватия CRO-GRID Чехия METACentrum Эстония Estonian Grid, working under Estonian Educational and Research Network (EENet) Финляндия CSC – Scientific Computing Ltd., Франция EGEE-FranceGermanyD-Grid, Греция HellasGrid, HG, Ирландия Grid-Ireland Израиль Israel Academic Grid (IAG) Италия Italian Grid Infrastructure, IGI, Литва Lithuanian Grid LitGrid Голландия Netherlands National Science Grid, internally known as BIGGRID project Норвегия Norwegian Grid (NorGrid), Польша PL-Grid, (public part in preparation) Португалия Iniciativa Nacional Grid – INGRID Румыния RoGrid URL: (old version) Россия Russian Data Intensive Grid (RDIG): (?????) Сербия SerbiaAcademic and Educational Grid Initiative of Serbia AEGIS Украина Ukrainian Grid, UGrid Швеция Swedish Grid, SweGrid, and Турция TR-Grid National Grid Initiative, TR-Grid NGI Германия(D-initiative)

D-GRID Initiative(Germany) D-Grid1( ) D-Grid2( ) Проекты в рамках D-grid Consortium: –DGI-интеграционный проект; –AeroGrid-аэрокосмическая инженерия; –BauVOGrid-строительная индустрия; –Biz2Grid- для учреждений; –FinGrid- финансы; –PartnerGrid-для промышленности(>40фирм); -- MediGRID -для медицины ……………………………………………… (Всего > 20 проектов).

RDIG(РДИГ -Российский ГРИД для интенсивных операций с данными) Цели: -создание национальной ГРИД-инфраструктуры в интересах научного сообщества с участием организаций из различных областей науки, образования и промышленности -предпринимать усилия по пропаганде ГРИД-технологий и обеспечивать возможность обучения и подготовки специалистов для использования ГРИД-сервисов в новых исследовательских областях и экономике -обеспечения полномасштабного участия России в создании глобальной компьютерной ГРИД-инфраструктуры -консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации Россия (Russia).

Участники РДИГ Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации Россия (Russia). Сейчас в РДИГ ( входят 15 институтов (в 2003 году - 8)

Распределение CPU time по регионам

Распределение процессорного времени по российским организациям(сайтам)

Распределенный инженерный R&D центр ДМЗ-Камов Предпосылки: Необходимость проведения больших и сложных проектных работ для создания летательных аппаратов нового поколения или глубокой модернизации существующих. Недостаток необходимого количества инженеров-конструкторов в любом из существующих ОКБ для проведения всего комплекса. Территориальная разбросанность ОКБ. (из доклада на совещании в Дубне)

Распределенный инженерный R&D центр ДМЗ-Камов Постановка задачи: Возможность распределения из одного центра работ по исполнителям. Возможность постоянного контроля над ходом выполняемых работ. Возможность распределенной работы с современными CAD/CAM/CAE-системами. Единая база данных. Доступность данных в любой момент времени. Защищенность от несанкционированного доступа. Уникальность и сохранность данных и стадий их разработки (протоколирование процесса разработки, архивация промежуточных данных). Минимальные капиталовложения. Возможность рекрутинга через привлечение в виртуальные коллективы студентов и аспирантов. (из доклада на совещании в Дубне)

О внедрении технологии грид в промышленном масштабе -Обучение основам технологии (ознакомление руководства,изучение и тренинг для пользователей); -Создание ГРИД инфраструктуры как распределенного центра коллективного пользования) - Подготовка приложений для использования технологии в конкретных областях науки, промышленности, бизнеса

Карта сети

РОКСОН в цифрах 1. Подключено: - академических организаций -40, - организаций образования, культуры, ГНЦ Протяженность ВОК составляет: - общая- >80 км - собственность СПбНЦ РАН – ~50км - аренда - ~30км. 3. Количество опорных узлов – Скорости магистральных каналов – 1000 MBps. 5. Скорости подключения конечных пользователей MBps

Опорная сеть СПБНЦ ПИЯФ РАНМСЦ РАНСПИИРАН Интернет 1000 Mbps Пользователи ГРИД Академический Грид в Санкт-Петербурге

Обучение Введение в Грид технологию Практические занятия с пользователями Обучение администраторов вычислительных ресурсов организаций Место проведения: в организациях (по запросу)

Контакты Рябов Юрий Федорович тел Новодворский Евгений Григорьевич Олешко Сергей Борисович

Полезные ссылки - GRIDCLUB.RU :: Интернет-портал по грид-технологиям - грид-портал ОИЯИ - проект EGEE-IIhttp:// - RDIG консорциум - мониторинг RDIGhttp://rocmon.jinr.ru:8080/accounting/ - НИИЯФ МГУ - ПИЯФ РАН

Добро пожаловать работать в ГРИД! Спасибо за внимание