В.К. Фищенко Тихоокеанский океанологический институт им. В.И. Ильичева Дальневосточное отделение Российской академии наук GRID-ТЕХНОЛОГИИ ПОДДЕРЖКИ НАУЧНЫХ. - презентация

1 В.К. Фищенко Тихоокеанский океанологический институт им. В.И. Ильичева Дальневосточное отделение Российской академии наук GRID-ТЕХНОЛОГИИ ПОДДЕРЖКИ НАУЧНЫХ ИССЛЕДОВАНИЙ: СОСТОЯНИЕ В МИРЕ, РОССИИ, ДВО РАН, ТОИ ДВО РАН

2 Grid – новая информационная технология поддержки научных исследований «Дата рождения» концепции GRID год Авторы концепции: Ян Фостер (Ian Foster), Арагонская национальная лаборатория Чикагского университета; Карл Кессельиан (Karl Kesselman) - Институт информатики Университета Южной Калифорнии GRID – географически распределенная инфраструктура, объединяющая множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения. GRID предполагает коллективный разделяемый режим доступа к ресурсам и к связанным с ними услугам в рамках глобально распределенных виртуальных организаций, состоящих из предприятий и отдельных специалистов, совместно использующих общие ресурсы. В каждой виртуальной организации имеется своя собственная политика поведения ее участников, которые должны соблюдать установленные правила. Виртуальная организация может образовываться динамически и иметь ограниченное время существования.

3 О происхождении названия - Grid Grid – не СЕТКА или РЕШЕТКА Grid – не аббревиатура Название Grid возникло из аналогии с электрической сетью- Electric power grid. Пользователь последней включает утюг или чайник в розетку и получает необходимое количество электрической энергии, не заботясь, откуда она взялась и какой путь прошла до розетки. Пользователь Grid также легко и просто может дома или на работе получить извне нужные объемы вычислительной мощностей и данных Чикагского университета

4 Grid – технология создания и поддержки работы «виртуальных организаций» Распределенные ресурсы: 1 - Хранилища данных 2 - Вычислительные системы 3 – Программы анализа данных и моделирования 4 – Экспериментальные установки 4 – Телекоммуникации 5 – Специалисты Метаописания ресурсов – основа для принятия решения о создании различных ВО

5 Для поддержки функционирования виртуальных организации, порождающих запросы на предоставление ресурсов, во всех узлах GRID-сети должно функционировать единое ПО «промежуточного уровня» Фостер и Кессельман сначала предложили всем использовать инструментальный пакет Globus Toolkit, разработанный под их руководством. Это не устроило ряд авторитетных научных групп, до того разрабатывавших собственные средства интеграции вычислительных и информационных ресурсов для своих задач Тогда была предложена идея разработать открытую архитектуру стандартизированных GRID-служб - OGSA, а всем разработчикам использовать любое ПО, поддерживающее эти службы Сразу же был выпущен пакет Globus Toolkit – 3.0, полностью основанный на архитектуре OGSA Другие разработчики адаптировали свои пакеты, организовав в них поддержку GRID-служб, входящих в OGSA Сейчас используются пакеты: Globus Toolkit 4.0, gLit, AliEen, NorduGrid О программном обеспечении GRID

6 Пакет разработки Globus Toolkit 4.0

7 Об интерфейсе пользователей с GRID Два подхода 1.Продвинутые GRID-пользователи используют командный язык, предоставляемый в ПО «промежуточного уровня» 2.Для «чайников» разрабатывают портальные надстройки GridSphere одно из популярных средств разработки портальных надстроек для GRID - GRID-порталов

8 Первые итоги 1.Самые смелые прогнозы не оправдались – GRID не смог развиться по всему миру также стремительно, как это было с Интернетом 2.Взвешенные прогнозы оправдались – GRID получил значительное распространения в наиболее развитых в научном отношении странах и в ряде высокотехнологичных отраслей научного знания Прошло 10 лет

9 Состояние в мире В мире успешно функционируют сотни высокотехнологичных научных GRID-проектов, в работу которых вовлечены десятки тысяч ученых. Лидеры : США и Канада, страны Евросоюза, Япония, Индия, Китай Научные отрасли : физика высоких энергий, просто физика, биофизика, геофизика, биология, медицина, химия, науки о Земле, астрономия, моделирование климата, нанотехнологии … Совокупные объемы данных – сотни Петабайт ( 1 Pb = 1000 Tb = 10 ^ 15 байт) Совокупная вычислительная производительность – около 10 Петафлоп

10 США Несколько национальных GRID-сетей, процесс по развитию GRID контролируется на уровне администрации Президента США TeraGrid – национальная вычислительная сеть США Данные системы мониторинга вычислительных ресурсов на : вычислительных комплексов, суммарная производительность – 1577 TFlop Выполняется задач – 1739 Ожидает в очереди

11 Проект Earth System Grid Задача: моделирование глобальных климатических изменений Участники Argonne National Laboratory Lawrence Berkeley National Laboratory Lawrence Livermore National Laboratory Los Alamos National Laboratory National Center for Atmospheric Research Oak Ridge National Laboratory University of Southern California/Information Sciences Institute 8 климатических моделей Исходные данные (атмосфера, океан, литосфера) - около 100 терабайт Выходные данные – десятки петабайт Ian Foster, Global Data Services, Tutorial at 14th NASA Goddard - 23rd IEEE Conference on Mass Storage Systems and Technologies, May 15, College Park, Maryland

12 12 Проект LOOKING (Laboratory for the Ocean Observatory Knowledge INtegration Grid) Компоненты : 1 - сеть приборов наблюдения 2 - каналы доставки данных с моря на берег 3 - хранилища данных 4 - суперкомпьютерных комплексы 5 – аналитические приложения 6 – средства доставки потребителям Потребители: 1 - научное сообщество 2 – образовательные учреждения 3 - национальные и региональные органы управления территориями 4 – военные 5 - представители бизнеса Начат в 2005 году. Конечная цель проекта - создание глобальной GRID-инфраструктуры непрерывного наблюдения за состоянием всего Мирового океана

13 13 Ближайшая цель LOOKING – развертывание систем оперативного мониторинга на нескольких прибрежных акваториях вдоль Тихоокеанского побережья США Пример - система оперативного мониторинга залива Монтерей

14 Страны Евросоюза Практически во всех странах создаются национальные GRID-сети Создаются общеевропейские GRID по разным направлениям исследований Один из наиболее известных – проект LCG (LHC Computing Grid) По инициативе Великобритании в 2002 году начато развертывание Паневропейской научной GRID-инфраструктуру - EGEE (Enabling Grids for E-science in Europe) Данные на Grid: BDII Locations / All EGEE compatible projects Number of Countries = 50 Number of Sites = 332 (with Logos = 149) Number of (monitored) Resource Brokers = 133 Number of Computing Elements = 612

15 Китай Работы ведутся с 2000 года, долгое время информация была засекречена 2006 год – объявлено о завершении работы над образовательным проектом (China Educational Grid Project, CEGP). Объединены информационные и вычислительные ресурсы нескольких десятков университетов 2006 год - начат совместный Grid-проекта Европейского Союза и Китая (EUChinaGRID) – сроки выполнения проекта по развертыванию национальной GRID-сети Китая

16 Состояние в России В России есть Президиум РАН, который в лице Отделения нанотехнологий и информационных технологий настойчиво призывает внедрять технологии GRID в научные исследования. В Перечне программ фундаментальных исследований Президиума РАН на 2009 год есть Программа 1 «Проблемы создания национальной научной распределенной информационно-вычислительной среды на основе развития GRID- технологий и современных телекоммуникационных сетей». Мы полагаем, что успехи в области внедрения в научный процесс технологии GRID незначительны и не соответствуют уровню технологически развитых стран. Практически все исследования по GRID сосредоточены в нескольких центральных институтах РАН и практически совсем не ведутся в региональных отделениях. В рамках упомянутой GRID-Программы РАН на протяжении ряда лет действовала подпрограмма «Электронная Земля», призванная развивать технологии интеграции информационных и вычислительных ресурсов, в том числе и GRID-технологии, в науках о Земле. На сайте подпрограммы «Электронная Земля» последние обновления от 2007 года и среди ее участников нет ни одного института из региональных отделений РАН

17 РДИГ (Российский ГРИД для интенсивных операций с данными - Russian Data Intensive GRID, RDIG) Российский консорциум РДИГ образован в сентябре 2003 года в целях обеспечения полномасштабного участия России в осуществлении проекта EGEE. В настоящее время в РДИГ входят 10 институтов РАН (6 – физика высоких энергий, 2 – математика, 1 – биология, 1 – Геофизический центр РАН

18 Проблема – GRID не представлен в региональных отделениях РАН Проблема интеграции данных, вычислительных и интеллектуальных ресурсов находится в фокусе постоянного внимания с конца 1990-х годов. К настоящему времени создано значительное число локальных интеграционных проектов масштаба учреждения и территориального центра СО РАН. Однако практически во всех проектах для реализации функций интеграции используются не стандартизированные GRID-службы, а собственные разработки, что затрудняет последующую интеграцию ресурсов разных проектов. Сибирское отделение РАН

19 Состояние GRID-проблематики в ДВО РАН В Дальневосточном отделении РАН работы по внедрению в практику научных исследований современных GRID-технологий находятся в начальной стадии. На базе развернутого в 2004 году вычислительного кластера в Вычислительном центре ДВО РАН (г. Хабаровск) некоторое время назад было анонсировано начало работ по развертыванию GRID-системы ДВО РАН. Однако пока работы в основном сосредоточены в области применения ряда частных GRID-сервисов для предоставления пользователям отделения вычислительных услуг, что явно недостаточно для полноценного GRID-проекта. Примерно такая же ситуация в ИАПУ ДВО РАН, где основные усилия по GRID-тематике также сосредоточены на предоставлении вычислительных услуг.

20 Состояние в ТОИ ДВО РАН В Тихоокеанском океанологическом институте имеется существенный задел в области создания информационных систем, концептуально схожих с GRID, но не GRID в строгом смысле. Предпринимаются усилия по реорганизации этих проектов в полноценные GRID-системы, реализующие средства управления распределенными хранилищами данных и вычислительными ресурсами, поддерживающие концепцию виртуальных организаций

21 Океанологическая Информационно-Аналитическая Система ДВО РАН Разрабатывается в Тихоокеанском океанологическом институте ДВО РАН с 2001 года Назначение : накопление и предоставление ученым ДВО РАН в совместное использование 1 – всех потенциально доступных данных по состоянию Дальневосточных морей 2 – эффективных средств визуализации и аналитической обработки данных 3 – высокопроизводительных вычислительных ресурсов для поддержки трудоемких задач

22 Как и в GRID в ОИАС применяются средства управления доступом к ресурсам - granted access - denied access

23 ОИАС предоставляет зарегистрированным пользователям данные о состоянии морского дна, толщи водной среды, поверхности и атмосферы Вместе с данными предоставляются аналитические средства для их обработки д

24 24 В ОИАС представлены значительные массивы данных, полученных с помощью с лазерного деформографа на МЭС м. Шульца, вместе с эффективными программными средствами их анализа

25 Для решения вычислительно трудоемких задач в ОИАС организована поддержка технологий распределенных и суперкомпьютерных вычислений на базе средств Condor и Globus Toolkit

26 Со временем предполагается преобразовать ОИАС в полноценный региональный океанологический GRID-проект В настоящее время начата работа по реализации в ОИАС подсистемы оперативного мониторинга побережья и акваторий залива Петра Великого, которая будет вестись с применения инструментального пакета разработки GRID-приложений Globus Toolkit 4.0. В докладе сотрудника нашего отдела А.В. Голик будет представлены некоторые предварительные результаты в этом направлении Перспективы проекта ОИАС ДВО РАН

27 GRID-портал Целевой комплексной Программы ДВО РАН «Биологическая безопасность дальневосточных морей России» Проблема – опасность нарушения естественного биологического видового разнообразия ДВ-морей из-за привнесения новых биологических видов морскими судами Для мониторинга ситуации была инициирована ЦКП ДВО РАН, в которой участвовало несколько научных институтов РАН. Для поддержки их работы был разработан и применялся GRID-портал на основе технологии GridSphere

28 Работа пользователя - «технического редактора» с изображением подводной сцены с помощью средств, предоставляемых портлетом «Биоразнообразие»

29 Идея технологии интеграции ресурсов нескольких WEB-ГИС проектов, поддерживающих спецификации OGC

30 ЗИН РАН ИО РАН ИБМ РАН ВНИИ океангеология Университет Аляски Университет Теннеси Вудсхольский океанографический институт ТОИ ДВО РАН РИАС WEB-ГИС проект «Чукотское море»

31 Заключение GRID – эффективная технология поддержки масштабных междисциплинарных проектов, требующих интеграции территориально разнесенных интеллектуальных, информационных и вычислительных ресурсов GRID активно развивается в мире, менее активно в России, почти не развивается в региональных отделениях РАН, включая ДВО РАН Выгоды от применения GRID при исследованиях в области физики геосфер могут быть значительными В ТОИ ДВО РАН есть опыт разработки концептуально схожих с GRID информационных систем и есть намерение со временем трансформировать эти системы в полноценные GRID-проекты Сотрудники отдела Информационных технологий ТОИ ДВО РАН готовы рассмотреть предложения от участников конференции, связанные с развитием и применениям в исследованиях технологии GRID

32 Благодарю за внимание!