Что такое ГРИД? Олешко С.Б. Петербургский институт ядерной физики г.Гатчина

2 Немного истории 1964 год – фирма IBM создаёт семейство машин IBM360 (System 360). Это первые компьютеры третьего поколения (на интегральных микросхемах) В СССР IBM/360 была клонирована под названием ЕС ЭВМ. Они были программно совместимы со своими американскими прообразами Считается, что семейство System 360 является первым мейнфреймом. Мейнфрейм - это главный компьютер вычислительного центра с большим объемом внутренней и внешней памяти До 80-х годов развитие мейнфреймов определяло общее развитие вычислительной техники

3 IBM360 (System 360).

4 Суперкомпьютеры В общем случае, суперкомпьютер это компьютер значительно более мощный, чем доступные для большинства пользователей машины Появление термина суперкомпьютер принято связывать с компьютерными системами Сеймура Крея (CDC 6600, CDC 7600, Cray-1, Cray-2) Переход от скалярных процессоров к векторным процессорам, затем к параллельной работе нескольких векторных процессоров

5 Cray-2

6 Микропроцессоры и ПК В конце 70-х - начале 80-х годов прогресс в развитии микропроцессоров привёл к появлению персональных компьютеров. Это же привело к смене магистрального направления развития суперкомпьютеров от векторно-конвейерной обработки к большому и сверхбольшому числу параллельно соединённых скалярных процессоров. Сейчас массивно-параллельные системы могут объединять в себе сотни и даже тысячи отдельных процессорных элементов

7 Мировой рейтинг Top500 Первое место - суперкомпьютер IBM Roadrunner, установленный в американской Национальной лаборатории в Лос-Аламосе, насчитывающий ядер. Его мощность составила 1105 терафлоп (флоп - число операций с плавающей запятой в секунду). Программа работ полностью засекречена.

8 IBM Roadrunner

9 Мировой рейтинг Top500 Второй - суперкомпьютер Cray XT5 (Jaguar), установленный в Окридже (США), ядер. Мощность терафлоп в секунду

10 Cray XT5 (Jaguar)

11 Кластеры Кластер – это система, в которых серийные процессорные модули объединены высокоскоростными коммутационно-связными средствами локальных сетей Преимущества: –меньшая стоимость –надёжность –можно наращивать вычислительную мощность –стандартизация программного обеспечения

12 Суперкомпьютеры в России СК "МВС-100K" - HP Cluster Platform на базе 4-ядерных процессоров Xeon 5400 (7920 процессорных ядер ). Расположен в Межведомственном суперкомпьютерном центре в Москве. Мощность – 71,28 терафлоп.

13 Суперкомпьютеры в России Кластер T-Platforms T60, расположенный в МГУ им Ломоносова (5000 ядер). Мощность – 47 терафлоп.

14 Кластер Беовульф (Beowulf) Беовульф – это мультикомпьютерная архитектура, которая может использоваться для параллельных вычислений. Это система, обычно состоящая из одного серверного узла и одного или более клиентских узлов, соединенных при помощи некоторой сети. Это система, построенная из готовых промышленных компонент, например ПК, на которых может работать ОС Linux Она не содержит специфических аппаратных компонентов и легко воспроизводима Серверный узел управляет всем кластером и является файл- сервером для клиентских узлов. Он также является консолью кластера и шлюзом во внешнюю сеть.

15 Кластер ПИЯФ

16 Кластер ПИЯФ

17 Кластер ПИЯФ

18 Сетевые технологии Развитие технологий локальных сетей Появление глобальных компьютерных сетей, прежде всего – Интернет –технологии (программы и аппаратура) –инфраструктура (каналы передачи данных) –распределённые ресурсы –стандарты –пользователи

19 Грид и распределённые вычисления Распределённые вычислительные инфраструктуры существовали и до Грид, но …. –обычно они представляют собой локальные или специализированные системы созданные для одной определённой цели или для отдельной группы пользователей обычно количество пользователей ограничено не допускается совместное использование ресурсов других организаций

20 Грид и распределённые вычисления Грид идёт дальше и предполагает: –Различные типы ресурсов не всегда одинаковые аппаратная часть, данные, приложения и политика администрирования –Различные способы взаимодействия различные группы приложений хотят взаимодействовать с Грид различными способами –Доступ к ресурсам через границы административных доменов для неограниченного количества не локальных пользователей –Динамическая природа ресурсов Ресурсы часто добавляются/удаляются/изменяются –Масштабируемость до всемирных размеров

21 Для чего это нужно? Физика высоких энергий симуляция, реконструкция, анализ, … Медицина / Здравоохранение отображение, диагностика и лечение Биоинформатика геном человека, поиск новых лекарств, … Нанотехнологии разработка новых материалов на молекулярном уровнe Инженерия авиационная безопасность, проектирование… Природные ресурсы и Окружающая среда прогноз погоды, прогнозирование наводнений, … Термоядерный синтез проект ITER Материаловедение

22 Предпосылки Грид Наличие во многих организациях высокопроизводительных вычислительных ресурсов (часто кластеров) –вычислительные скорости удваиваются каждые 18 месяцев 1986 – 2000 : x – 2010 : x 60 Развитие традиционных Интернет- технологий Необходимость решения сложных научных, инженерных и бизнес-задач Производительность на затраченный доллар Волоконно- оптическая связь (бит/сек) Кристаллы процессоров (число транзисторов) Кристаллы памяти (бит/кв. дюйм) Количество лет Стремительное развитие сетевой транспортной среды и технологий высокоскоростной передачи данных. – скорости сетей удваиваются каждые 9 месяцев 1986 – 2000 : x – 2010 : x 4000

23 Что такое Грид Термин ГРИД был выбран по аналогии с энергетическими сетями (electric power grid ) подобно тому, как при использовании энергосистем мы не интересуемся – какой конкретный электрогенератор выработал ток, который мы потребляем, при использовании компьютерного грида мы можем не заботиться о том - какой конкретно компьютер (или устройство хранения/передачи данных) в грид-системе выполнил нашу задачу

24 Что такое Грид Грид – это множество компьютеров (суперкомпьютеры, кластеры, персональные компьютеры, …), средств хранения данных, специальных устройств, служб, которые могут динамически входить и покидать Грид- систему. Они гетерогенны во всех аспектах Они могут быть географически распределены и соединены скоростными сетями передачи данных Они могут быть доступны по запросу для некоторого множества пользователей Интернет

25 Что такое Грид Грид призван обеспечить возможность делать компьютерные вычисления «по требованию» просто подключившись к «решетке» вычислительных ресурсов.

26 Что такое Грид Опять аналогия В энергосетях определяющую роль играют: технологии передачи и (пере)распределения электроэнергии на большие большие расстояния; инфраструктура - аппаратные средства (повышающие/понижающие подстанции, линии электропередач, другое электрооборудование, позволяющее электростанциям предоставлять энергию потребителям) и соответствующие службы (ремонта, контроля и т.д.); стандарты – параметры электрического тока (напряжение в сети, частота), типы и размеры вилок/розеток, позволяющие без проблем подключать любой электроприбор к единой сети.

27 Что такое Грид Также как и электрические сети, грид это соединение технологии, инфраструктуры стандартов.

28 Что такое Грид Технология это специальное программное обеспечение, которое позволяет организациям или частным лицам предоставлять ресурсы (компьютеры, хранилища данных, сети и другие) в общее пользование, а потребителям – использовать их, когда необходимо.

29 Что такое Грид Инфраструктура состоит из аппаратных средств и служб (на основе людских и программных ресурсов), которые должны быть организованы, и постоянно поддерживаться для того, чтобы ресурсы могли совместно использоваться.

30 Что такое Грид Стандарты должны определять формат и протоколы обмена сообщениями, как между службами, так и между службами и пользователями, а также правила работы грида.

31 История 1985–1995 Программа Национального Научного Фонда США «National Science Foundation (NSF) Supercomputer Centers». Октябрь 1997 NSF инициировал новую программу развития информационных технологий – Partnerships for Advanced Computational Infrastructure (PACI) Создан (и успешно развивается) инструментальный пакет Globus Toolkit Сформировалось (и активно действует) международное научное Грид-сообщество – Global Grid Forum (GGF) 2002 GGF и IBM была представлена новая системная разработка – Open Grid Service Architecture (OGSA) Создано объединение Enterprise Grid Alliance (EGA) 2006 GGF и EGA объявили о слиянии и образовании Open Grid Forum (OGF)

32 Что такое Грид Отдельный компьютер (РС) Прикладное ПО Ресурсы РС Диски, процессор, память … Операционная система РС

33 Что такое Грид Локальная сеть Прикладное ПО Операционная система каждого узла Ресурсы узла Промежуточное ПО для соединения с другими узлами (компьютеры, серверы, …) Ресурсы РС Отдельный компьютер Прикладное ПО Операционная система

34 Что такое Грид Промежуточное ПО для соединения с другими узлами (компьютеры, серверы, …) Промежуточное ПО для соединения с другими локальными сетями… Операционная система каждого узла Ресурсы узла Следующий шаг - Грид Локальная сеть Прикладное ПО Операционная система каждого узла Ресурсы узла Промежуточное ПО для соединения с другими узлами Ресурсы РС Отдельный компьютер Прикладное ПО Операционная система Прикладное ПО

35 WWW и Грид World Wide Web обеспечивает доступ к информации, которая находится в миллионах различных серверов, географически распределённых по всему миру В отличии от WWW: ГРИД – это новая вычислительная инфраструктура, которая обеспечивает бесперебойный доступ к вычислительным мощностям и ресурсам хранения данных, распределённых по всему миру

36 ППО Грид (middleware) Прозрачное взаимодействие между гетерогенными ресурсами (принадлежащих различным, географически распределённым организациям), приложениями и пользователями возможно только при помощи… –использования специализированного программного обеспечения, называемого middleware Middleware скрывает технические детали Грид-инфраструктуры и обеспечивает безопасную интеграцию/распределение ресурсов интернет-протоколы не обеспечивают безопасный механизм доступа к разделяемым ресурсам

37 ППО Грид (middleware)

38 Использование Грид Организация эффективного использования ресурсов для небольших задач, с утилизаций временно простаивающих компьютерных ресурсов Распределенные супервычисления, решение очень крупных задач, требующих огромных процессорных ресурсов, памяти и т.д. Вычисления с привлечением больших объемов географически распределенных данных, например, в метеорологии, астрономии, физике высоких энергий Коллективные вычисления, в которых одновременно принимают участие пользователи из различных организаций

39 Проект Поиск следов внеземных цивилизаций Обработка данных, полученных радиотелескопом Аресибо Около 5 млн. участников 1200 CPU лет в день Постоянная вычислительная мощность ~34 TF (примерно такая, какая достигнута в Симуляторе Земли в Японии) Высокая степень гетерогенности ресурсов - >77 различных типов процессоров

40 Проект GIMPS Поиск простых чисел Мерсенна. Числа Мерсенна имеют вид M p = 2 p – 1, где p-простое Самое большое известное на данный момент простое число M = было найдено в рамках проекта GIMPS в августе 2008 года. Оно состоит из 12,978,189 цифр!! Ресурсы (на ): –команд – 216 –участников – –CPUs – –мощность терафлоп

41 Проект WISDOM Приложение Drug Discovery, позволяющее вычислять вероятность прямого контакта между потенциальным лекарством и белком- мишенью Первый в истории биомедицины сеанс массовой обработки данных (малярия) Исследовано 46 миллионов посадочных лиганд Получено более 1 Тб данных Использованы ~1000 компьютеров из 15 стран, что составляет ~ 80 машино/лет Средний фактор ускорения – 600 Второй сеанс (птичий грипп) Использованы ~5000 компьютеров из 27 стран, что составляет ~ 420 машино/лет Получено более 2 Тб данных Средний фактор ускорения – 2000

42 О ЦЕРНе (CERN) Расположен на границе Щвейцарии-Франции. Крупнейший в мире исследовательский центр по ФВЭ Работают представители ~500 университетов и институтов (штат~2500чел., 6500 визитеров из ~40 стран) Сделано много открытий и разработано много новых технологии, включая WWW. Большинство Нобелевских лауреатов по физике последних лет так или иначе связаны с ЦЕРН.

43 Большой адронный коллайдер (LHC) Длина окружности ускорителя – 27 км. Запуск перенесён на 2009 год

44 Что такое БАК? Энергия столкновения пучков протонов – 14 TeV Используя новейшие сверхпроводящие технологии он будет работать при температуре –300°C, т.е. Немного выше абсолютного нуля С общей длиной в 27 км ускоритель будет самой большой сверхпроводящей установкой в мире

45 Эксперименты на БАК

46 Место для детектора ATLAS

47 Детектор ATLAS

48 Детектор ATLAS

49 Как будет работать БАК

50 Результаты Начиная с такого набора событий: Необходимо найти такое: Селективность (степень отбора) ~ 1 из 10 13, что примерно соответствует поиску иголки в 20 миллионах стогах сена!!!

51 Данные БАК столкновений в секунду После фильтрации, остаётся только 100 событий в секунду Объём оцифрованных данных для одного события ~ 1Мб За год необходимо записать событий = 10 Петабайт данных в год 1 Мегабайт (1MB) Цифровая фотография 1 Гигабайт (1GB) = 1000MB DVD фильм 1 Терабайт (1TB) = 1000GB Объём всех книг, изданных за год в мире 1 Петабайт (1PB) = 1000TB Производит за год один эксперимент БАК 1 Экзобайт (1EB) = 1000 PB Объём информации, которую производит за год всё человечество CMSLHCbATLASALICE

52 Необходимость ГРИД для БАК Объём получаемых данных БАК соответствует 20 миллионам записанных CD дисков в год. Где их хранить? Анализ данных LHC потребует вычислительных мощностей, эквивалентных мощности самых современных процессоров. Где их взять? Ресурсы ЦЕРН уже сейчас составляют более 4000 процессоров (ядер) и 8 Пб памяти на дисках и на лентах. Но этого мало!!! Выход – объединение вычислительных ресурсов физиков всего мира Конкорд (15 Км) Воздушный шар (30 Км) Стопка CD дисков с данными БАК за 1 год (~ 20 Км) Монблан (4.8 Км)

53 Всемирный компьютинг для БАК Проекты EGEE и OSG являются основой для проекта Worldwide LHC Computing Grid ( WLCG)

54 Хранение данных в БАК

55 Название проекта EGEE- Enabling Grids for E-sciencE Развертывание инфраструктуры Грид для науки

56 Сроки выполнения проекта

57 Ресурсы EGEE-III сейчас 267 центров в 54 странах ~ CPU ~ 20 PB дисковой памяти, + ленточные MSS распределённое управление >200 ВО из различных областей науки >150тыс. заданий/день >16000 пользователей

58 Партнёры EGEE

59 Управление ГРИД EGEE Операционный центр управления (OMС) -ЦЕРН - общая координация Центры базовой инфраструктуры (CIC) - 5 центров (Великобритания, Франция, ЦЕРН, Италия, Россия) -обеспечение постоянной (24x7) работы базовых грид-служб, мониторинг системы; -реализация и контроль за выполнением правил, выработанных OMS -обеспечение поддержки узлов 2-го уровня Региональные операционные центры (ROC) ~ 11 центров -поддержка пользователей и администраторов ресурсов -координация региональных ресурсов

60 Мониторинг узлов EGEE

61 Участие России в проекте EGEE В целях обеспечения полномасштабного участия России в этом проекте был образован консорциум РДИГ (Российский ГРИД для интенсивных операций с данными – Russian Data Intensive GRID, RDIG) для эффективного выполнения работ по проекту и развитию в России инфраструктуры EGEE, с вовлечением на следующих этапах проекта других организаций из различных областей науки, образования и промышленности. Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации Россия (Russia). Сейчас в РДИГ ( входят 15 институтов (в 2004 году - 8)

62 Распределение время/регион

63 Распределение задания/регион

64 Распределение по России

65 Полезные ссылки - проект EGEE-III - RDIG консорциум - ПИЯФ РАН - мониторинг RDIG - GRIDCLUB.RU :: Интернет-портал по грид-технологиям - НИИЯФ МГУ

66 Спасибо за внимание