Enabling Grids for E-sciencE www.eu-egee.org Введение в ГРИД Новодворский Е.Г., Олешко С.Б. Петербургский институт ядерной физики г.Гатчина. - презентация

1 Enabling Grids for E-sciencE Введение в ГРИД Новодворский Е.Г., Олешко С.Б. Петербургский институт ядерной физики г.Гатчина

2 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Что такое Грид Термин ГРИД был выбран по аналогии с энергетическими сетями (electric power grid ) подобно тому, как при использовании энергосистем мы не интересуемся – какой конкретный электрогенератор выработал ток, который мы потребляем, при использовании компьютерного грида мы можем не заботиться о том - какой конкретно компьютер (или устройство хранения/передачи данных) в грид-системе выполнил нашу задачу

3 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Что такое Грид Короче –доступ прозрачен для конечного пользователя: достаточно подключиться и получить необходимые ресурсы, не заботясь о том, откуда они берутся –доступность отовсюду

4 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Что такое Грид Продолжим аналогию Современный статус компьютерных инфраструктур можно сравнить с состоянием электрических систем в 1910 году. Тогда необходимость для каждого пользователя иметь свой генератор тормозила развитие отрасли. Революционным шагом было возникновение электросетей, создание технологий передачи и распределения электроэнергии, создание стандартизованной службы универсального и гарантированного доступа к электроэнергии. В результате не только резко повысилась эффективность использования ресурсов, но и стали возможны принципиально новые направления развития.

5 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Что такое Грид Грид призван обеспечить возможность делать компьютерные вычисления «по требованию» просто подключившись к «решетке» вычислительных ресурсов.

6 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Что такое Грид Также как и электрические сети, грид это соединение технологии, инфраструктуры стандартов.

7 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Что такое Грид Технология это специальное программное обеспечение, которое позволяет организациям или частным лицам предоставлять ресурсы (компьютеры, хранилища данных, сети и другие) в общее пользование, а потребителям – использовать их, когда необходимо.

8 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Что такое Грид Инфраструктура состоит из аппаратных средств и служб (на основе людских и программных ресурсов), которые должны быть организованы, и постоянно поддерживаться для того, чтобы ресурсы могли совместно использоваться.

9 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Что такое Грид Стандарты должны определять формат и протоколы обмена сообщениями, как между службами, так и между службами и пользователями, а также правила работы грида.

10 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Что такое Грид Опять аналогия В энергосетях определяющую роль играют: технологии передачи и (пере)распределения электроэнергии на большие большие расстояния; инфраструктура - аппаратные средства (повышающие/понижающие подстанции, линии электропередач, другое электрооборудование, позволяющее электростанциям предоставлять энергию потребителям) и соответствующие службы (ремонта, контроля и т.д.); стандарты – параметры электрического тока (напряжение в сети, частота), типы и размеры вилок/розеток, позволяющие без проблем подключать любой электроприбор к единой сети.

11 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля История 1985–1995 Программа Национального Научного Фонда США «National Science Foundation (NSF) Supercomputer Centers». Результат – создание развитой коммуникационной инфраструктуры и нескольких суперкомпьютерных центров для поддержки академических работ и исследований.

12 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля История 1985–1995 Программа Национального Научного Фонда США «National Science Foundation (NSF) Supercomputer Centers». Октябрь 1997 NSF инициировал новую программу развития информационных технологий Partnerships for Advanced Computational Infrastructure (PACI). Возникла концепция Грид-инфраструктуры, как некая аналогия электроэнергетической инфраструктуры. Предполагалось, что Grid будет использоваться в основном для того, чтобы задействовать простаивающие вычислительные компьютерные ресурсы.

13 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля История 1985–1995 Программа Национального Научного Фонда США «National Science Foundation (NSF) Supercomputer Centers». Октябрь 1997 NSF инициировал новую программу развития информационных технологий – Partnerships for Advanced Computational Infrastructure (PACI) Создан (и успешно развивается) инструментальный пакет Globus Toolkit. Является технологической базой создания Грид- инфраструктуры (стандарт de facto)

14 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля История 1985–1995 Программа Национального Научного Фонда США «National Science Foundation (NSF) Supercomputer Centers». Октябрь 1997 NSF инициировал новую программу развития информационных технологий – Partnerships for Advanced Computational Infrastructure (PACI) Создан (и успешно развивается) инструментальный пакет Globus Toolkit Сформировалось (и активно действует) международное научное Грид-сообщество Global Grid Forum (GGF)

15 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля История 1985–1995 Программа Национального Научного Фонда США «National Science Foundation (NSF) Supercomputer Centers». Октябрь 1997 NSF инициировал новую программу развития информационных технологий – Partnerships for Advanced Computational Infrastructure (PACI) Создан (и успешно развивается) инструментальный пакет Globus Toolkit Сформировалось (и активно действует) международное научное Грид-сообщество – Global Grid Forum (GGF) 2002 GGF и IBM была представлена новая системная разработка – Open Grid Service Architecture (OGSA) Введены в грид понятия и стандарты веб-сервисов

16 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля История 1985–1995 Программа Национального Научного Фонда США «National Science Foundation (NSF) Supercomputer Centers». Октябрь 1997 NSF инициировал новую программу развития информационных технологий – Partnerships for Advanced Computational Infrastructure (PACI) Создан (и успешно развивается) инструментальный пакет Globus Toolkit Сформировалось (и активно действует) международное научное Грид-сообщество – Global Grid Forum (GGF) 2002 GGF и IBM была представлена новая системная разработка – Open Grid Service Architecture (OGSA) Создано объединение Enterprise Grid Alliance (EGA) адаптация академических разработок по Грид-технологиям к потребностям производителей (Fujitsu, Siemens, HP, Intel, NEC, Oracle, Sun, EMC)

17 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля История 1985–1995 Программа Национального Научного Фонда США «National Science Foundation (NSF) Supercomputer Centers». Октябрь 1997 NSF инициировал новую программу развития информационных технологий – Partnerships for Advanced Computational Infrastructure (PACI) Создан (и успешно развивается) инструментальный пакет Globus Toolkit Сформировалось (и активно действует) международное научное Грид-сообщество – Global Grid Forum (GGF) 2002 GGF и IBM была представлена новая системная разработка – Open Grid Service Architecture (OGSA) Создано объединение Enterprise Grid Alliance (EGA) 2006 GGF и EGA объявили о слиянии и образовании Open Grid Forum (OGF)

18 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Что такое Грид Отдельный компьютер (РС) Прикладное ПО Ресурсы РС Диски, процессор, память … Операционная система РС

19 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Что такое Грид Локальная сеть Прикладное ПО Операционная система каждого узла Ресурсы узла Промежуточное ПО для соединения с другими узлами (компьютеры, серверы, …) Ресурсы РС Отдельный компьютер Прикладное ПО Операционная система

20 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Что такое Грид Промежуточное ПО для соединения с другими узлами (компьютеры, серверы, …) Промежуточное ПО для соединения с другими локальными сетями… Операционная система каждого узла Ресурсы узла Следующий шаг - Грид Локальная сеть Прикладное ПО Операционная система каждого узла Ресурсы узла Промежуточное ПО для соединения с другими ресурсами Ресурсы РС Отдельный компьютер Прикладное ПО Операционная система Прикладное ПО

21 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Что такое Грид Гетерогенные ресурсы Собственность организаций и индивидуумов Потенциальная недоступность ресурсов Различные требования безопасности Географическая распределенность Различные политики управления ресурсами Соединение гетерогенных многоуровневых сетей

22 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля WWW и Грид World Wide Web обеспечивает доступ к информации, которая находится в миллионах различных серверов, географически распределённых по всему миру В отличии от WWW: ГРИД – это новая вычислительная инфраструктура, которая обеспечивает бесперебойный доступ к вычислительным мощностям и ресурсам хранения данных, распределённых по всему миру

23 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Предпосылки Грид Наличие во многих организациях высокопроизводительных вычислительных ресурсов (часто кластеров) –вычислительные скорости удваиваются каждые 18 месяцев 1986 – 2000 : x – 2010 : x 60 Развитие традиционных Интернет- технологий Необходимость решения сложных научных, инженерных и бизнес-задач Performance per Dollar Spent Optical Fibre (bits per second) Chip capacity (# transistors) Data Storage (bits per sq. inch) Number of Years Стремительное развитие сетевой транспортной среды и технологий высокоскоростной передачи данных. – скорости сетей удваиваются каждые 9 месяцев 1986 – 2000 : x – 2010 : x 4000

24 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Желание расширить границы научного открытия вычислительным анализом и моделированием (e-Science) Зачем? Необходимость решения сложных научных, производственных, инженерных и бизнес-задач Наука все больше делается через распределенные глобальные коллаборации с использованием internet ГРИД предоставляет доступ к: – Очень большим наборам данных – Огромным (тера…) вычислительным ресурсам – Высокопроизводительной визуализации – Высокоскоростным сетям

25 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Грид и распределённые вычисления Распределённые вычислительные инфраструктуры существовали и до Грид, но …. –обычно они представляют собой локальные или специализированные системы созданные для одной определённой цели или для отдельной группы пользователей обычно количество пользователей ограничено не допускается совместное использование ресурсов других организаций

26 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Грид и распределённые вычисления Грид идёт дальше и предполагает: –Различные типы ресурсов не всегда одинаковые аппаратная часть, данные, приложения и политика администрирования –Различные способы взаимодействия различные группы приложений хотят взаимодействовать с Грид различными способами –Доступ к ресурсам через границы административных доменов для неограниченного количества не локальных пользователей –Динамическая природа ресурсов Ресурсы часто добавляются/удаляются/изменяются –Масштабируемость до всемирных размеров

27 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Что такое Грид Грид – это множество компьютеров (суперкомпьютеры, кластеры, персональные компьютеры, …), средств хранения данных, специальных устройств, служб, которые могут динамически входить и покидать Грид- систему. Они гетерогенны во всех аспектах Они могут быть географически распределены и соединены скоростными сетями передачи данных Они могут быть доступны по запросу для некоторого множества пользователей Интернет

28 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Определение (Ian Forster: What is Grid, 2002 г.) Грид «Грид – это система, которая: координирует использование ресурсов при отсутствии централизованного управления этими ресурсами использует стандартные, открытые, универсальные протоколы и интерфейсы обеспечивает высококачественное обслуживание»

29 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Концепция архитектуры Грид С помощью Web мы можем взять из Интернета информацию и документы, а с помощью Grid мы можем взять оттуда и другие ресурсы: вычислительная мощность, хранилища данных, программное обеспечение и т.д. …. Грид-компьютинг – это скоординированное разделение ресурсов и решение задач в динамически меняющихся виртуальных организациях со многими участниками Виртуальная организация – объединение (коллаборация) специалистов из некоторой прикладной области,которые объединяются для достижения общей цели

30 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Виртуальная организация знает кто что делает, и кому не будет позволено делать это снова… располагает определенным количеством ресурсов, которые предоставлены зарегистрированными в ВО владельцами контролирует доступ к описанным ресурсам устанавливает самостоятельно правила работы для своих участников может образовываться динамически и иметь ограниченное время существования обычно включает географически распределенных пользователей

31 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля ППО Грид (middleware) Прозрачное взаимодействие между гетерогенными ресурсами (принадлежащих различным, географически распределённым организациям), приложениями и пользователями возможно только при помощи… –использования специализированного программного обеспечения, называемого middleware Middleware скрывает технические детали Грид-инфраструктуры и обеспечивает безопасную интеграцию/распределение ресурсов интернет-протоколы не обеспечивают безопасный механизм доступа к разделяемым ресурсам

32 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля ППО Грид (middleware)

33 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля ППО Грид (middleware) Используя ПК или workstation Используя Грид Для входа – имя (account) и пароль (Аутентификация) Использование прав, разрешенных вам (Авторизация) Запуск заданий Управление файлами: создание, чтение/запись, список директорий Для входа – единый цифровой сертификат (Аутентификация) Использование прав, делегированных вам (Авторизация) Запуск заданий Управление файлами: создание, чтение/запись, список директорий Компоненты системы связываются по шине Сервисы связываются через Интернет Операционная система ППО (middleware) Один административный домен Множество административных доменов

34 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Основные компоненты User Interface (UI) User Interface (UI): Для пользователя - точка входа в Грид Computing Element (CE) Computing Element (CE): Очередь заданий на вычислительном узле, где может выполняться задание пользователя Storage Element (SE) Storage Element (SE): Сервер хранения данных, где сохраняются Грид файлы (чтение/запись/копирование) или их реплики Resource Broker (RB) (Workload Management System (WMS)) Resource Broker (RB) (Workload Management System (WMS)): Определяет соответствие между требованиями задания и доступными Грид-ресурсами Information System Information System: Содержит характеристики и статус ресурсов File and replica catalog File and replica catalog: местоположение файлов в Грид и их реплик Logging and Bookkeeping (LB) Logging and Bookkeeping (LB): Статус заданий, выполняющихся в Грид

35 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Уже существует масса Грид-систем… Безопасность UI JDL 1 Аутентификация авторизация 2 3 учёт использования ресурсов Пользователь CA ВО Ресурсы

36 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Уже существует масса Грид-систем… У величение производительностимикропроцессоро в e-Science д оступность сетевой транспортной среды Технологии Интернет Необходимость решения сложных задач Н аличие вычислителных ресурсов

37 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Примеры Физика высоких энергий симуляция, реконструкция, анализ, … Медицина / Здравоохранение отображение, диагностика и лечение Биоинформатика геном человека, … Нанотехнологии разработка новых материалов на молекулярном уровнe, … Инженерия авиационная безопасность, … Природные ресурсы и Окружающая среда прогноз погоды, … Искусство Материаловедение

38 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Национальные Грид инициативы Англия UK National Grid Service Австрия Austrian Grid Initiative Бельгия BEgrid Болгария Bulgarian Grid Consortium, BGGC, Хорватия CRO-GRID Чехия METACentrum Эстония Estonian Grid, working under Estonian Educational and Research Network (EENet) Финляндия CSC – Scientific Computing Ltd., Франция EGEE-FranceGermanyD-Grid, Греция HellasGrid, HG, Ирландия Grid-Ireland Израиль Israel Academic Grid (IAG) Италия Italian Grid Infrastructure, IGI, Литва Lithuanian Grid LitGrid Голландия Netherlands National Science Grid, internally known as BIGGRID project Норвегия Norwegian Grid (NorGrid), Польша PL-Grid, (public part in preparation) Португалия Iniciativa Nacional Grid – INGRID Румыния RoGrid URL: (old version) Россия Russian Data Intensive Grid (RDIG): Сербия SerbiaAcademic and Educational Grid Initiative of Serbia AEGIS Украина Ukrainian Grid, UGrid Швеция Swedish Grid, SweGrid, and Турция TR-Grid National Grid Initiative, TR-Grid NGI Германия(D-initiative)

39 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Полезные ссылки - проект EGEE-II - репозиторий материалов (EGEE Digital Library) - RDIG консорциум - мониторинг RDIG - GRIDCLUB.RU :: Интернет-портал по грид-технологиям - НИИЯФ МГУ - ПИЯФ РАН

40 Е. Новодворский, С. Олешко (ПИЯФ РАН) 22 февраля Добро пожаловать работать в ГРИД! Спасибо за внимание