Распределенные вычисления, облака и Грид Сергей Белов, ЛИТ ОИЯИ

Вычисления вокруг нас 2

Человечество всегда нуждалось в вычислениях Военные цели Космос Наука Производство Строительство Финансы 3

Немного истории: инструменты для счёта 4

От отдельного компьютера к кластеру Объединение компьютеров в сети позволило: Значительно ускорить расчеты за счет распределения вычислительных задач между машинами Повысить надежность хранения данных и общую отказоустойчивость системы 5

В мире уже больше 1 миллиарда персональных компьютеров Процессоры ПК в среднем используются не более чем на 5% Можно задействовать простаивающие ресурсы для решения общезначимых задач, таких как: Поиск лекарств от неизлечимых прежде болезней Расшифровка генома Расчет изменения климата на Земле Предсказание землетрясений Поиск внеземных цивилизаций Добровольческие распределенные вычисления 6

CERN - CERN - - Европейский Центр ядерных исследований - Европейский Центр ядерных исследований 7 WWW – 20 лет

The LHC Machine Эксперименты на LHC 8

9

ежегодно миллионов гигабайт данных (около 3 миллионов DVD-дисков) Для анализа данных необходимо порядка ~100,000 самых современных процессоров Потоки данных от LHC 10

11 Идея: вычисления и ресурсы как услуга Визуализация Рабочие станции Мобильный доступ Суперкомпьютеры, ПК- кластеры Интернет, сети ОБЕСПЕЧЕНИЕ ГРИДОБЕСПЕЧЕНИЕ ГРИД Массовая память, сенсоры, эксперименты ПРОМЕЖУТОЧНОЕ ПРОГРАММНОЕПРОМЕЖУТОЧНОЕ ПРОГРАММНОЕ

Аналогия: электрические сети (grids) 12

Объединение ресурсов в грид 13

14 Виртуальные организации Что такое ВО –Люди из разных организаций совместно используют ресурсы для работы над общими проектами Зачем создавать Грид? –Общие данные –Объединение ресурсов –Сотрудничество –Более эффективное использование оборудования Задумка: один большой Грид Действительность: множество грид-сетей Каждая грид-сеть предоставляет ресурсы одной или нескольким виртуальным организациям Институт A ВО1 Институт ВИнститут БИнститут ГИнститут Д ВО2 Институт Е 14

Что такое грид? Грид – разновидность параллельной или распределенной системы, позволяющей объединять и совместно использовать географически распределенные ресурсы Скоординированное совместное использование ресурсов для решения общих задач в рамках виртуальных организаций Я. Фостер, К. Кессельман, С. Тьюке «Анатомия Грид» Координирует использование ресурсов при отсутствии централизованного управления этими ресурсами Использует стандартные, открытые, универсальные протоколы и интерфейсы Должна нетривиальным образом обеспечивать высококачественное обслуживание 15

Преимущества Грид Минимизация затрат при росте возможностей Эффективное использование компьютерной инфраструктуры (например, использование простаивающих рабочих мест или свободных вычислительных ресурсов) Увеличение доступных вычислительных мощностей (свои + партнеров) Упрощение, большая скорость и надежность доступа к данным Масштабируемость системы

Крупные грид-проекты в мире EGEE - Enabling Grids for E-sciencE Основная область применения наука Развиваются и коммерческие приложения 50 стран, ~300 сайтов, ~73'000 процессоров OSG Open Science Grid Научный Грид в США ~40'000 CPUs (60MSI2k) NorduGrid 12 стран, 60 сайтов, ~25'000 CPUs TeraGrid Объединение суперкомпьютерных центров в США 750TFlops, 30 Пбайт дисков 17

Часть инфраструктуры проекта EGEE

19 Российский сегмент Грид (РДИГ) 15 ресурсных центров в РДИГ: –Ru-Moscow-SINP-LCG2, ITEP, JINR-LCG2, Kharkov-KIPT-LCG2, RRC-KI, RU-Moscow-KIAM-LCG2, RU-Phys-SPbSU, RU-SPbSU, Ru-Troitsk-INR-LCG2, ru-IMPB-LCG2, ru-Moscow-FIAN-LCG2, ru-Moscow-GCRAS-LCG2, ru-Moscow-MEPHI-LCG2, ru-PNPI, RU-Protvino-IHEP Ресурсы –> 3300 процессоров –~1000 в ОИЯИ –ёмкость дисков порядка 1.8 Пбайт (1.8*10 15 байт = DVD)

20 Статистика работы РДИГ 13.7 миллионов вычислительных задач с 2004 года 22.6 миллиона часов процессорного времени = 2.6 тысяч лет работы одного компьютера ! Задачи от 33 виртуальных организаций –alice, ams, atlas, atlaspil, atlasru, batch, biomed, cms, cms3, dteam, eearth, esr, fusion, fusion_rdig, geant4, gear, gridit, hcbp, hone, imain, iteam, lhcb, lhcbpil, lrgst, nw_ru, ops, pamela, photon, rdteam, rfusion, rgstest, sgmeearth, staff Нормализованное процессорное время за последний год – 27.2 миллиона условных часов ALICE- 29% –ATLAS- 23% –CMS- 17% –LHCb- 25% –Другие ВО 6% 94%

Разные проекты из области грид 21

Применения грид-технологий Авиационная промышленность Автомобилестроение Криптоанализ Расчет лекарств Финансы (моделирование, принятие решений, data mining) Нефтегазовая отрасль (моделирование, разведка месторождений) 22

Применения грид-технологий Построение более быстрых и надежных распределённых корпоративных информационных систем Научные исследования (физика, биология, астрономия, медицина, геология и т.д.) Обработка результатов космической фотосъемки Создание анимации и спецэффектов в киноиндустрии 23

К «информационной» экономике С ростом автоматизации и производительности труда падает число занятых в производстве материальных благ Основная активность переносится в информационную область и сферу услуг Для экономики, ориентированной на обработку информации, нужны свои средства производства и ресурсы 24

«Облачные вычисления» 25 Предоставление по запросу пользователей: – Инфраструктуры (серверов) как услуги- IaaS – Платформы (серверы+ОС) как услуги- PaaS – Программного обеспечения (серверы+ОС+ПО) в качестве услуги- SaaS Доступ к услугам осуществляется через Интернет

Грид и «облака» Грид из научной среды до 2000 года географически распределен вычисление и доступ к данным как услуга «Облака» из бизнеса 2007 год может располагаться в одном месте может предоставлять произвольные информационные сервисы в виде услуги 26 Общая идея: предоставление доступа к компьютерным услугам как к ресурсу, виртуализация (скрытие внутренней реализации)

«Облака» и грид в запросах к Google 27 Грид (grid computing) Облачные вычисления (cloud computing) число поисковых запросов число новостей по теме

Возможные перспективы 28 облако/грид из мобильных устройств

Возможные перспективы 29 объединение национальных грид-сетей в облако, расширение набора предоставляемых сервисов?

Возможные перспективы 30 Облачные вычисления включат в себя все типы компьютерных ресурсов? Skynet?

Киберинфраструктура Грид Разделяемые инфраструктура и сервисы SaaS SOA Виртуализация Web 2.0 Автоматизация 31

32