Институт программных систем Российской академии наук Результаты и перспективы суперкомпьютерных программ «СКИФ» и «СКИФ-ГРИД» Союзного государства

Институт программных систем Российской академии наук Создание Института Институт создан в 1984 году как филиал Института проблем кибернетики АН СССР решением Правительства СССР, направленным на развитие вычислительной техники и информатики в стране. Директор: д.т.н., профессор А.К.Айламазян.

Институт программных систем Российской академии наук В 1986 году преобразован в Институт программных систем АН СССР

Институт программных систем Российской академии наук Научные подразделения ИПС РАН Исследовательский центр искусственного интеллекта Исследовательский центр медицинской информатики Исследовательский центр мультипроцессорных систем Исследовательский центр системного анализа Исследовательский центр процессов управления Международный детский компьютерный центр им. А.К.Айламазяна

Институт программных систем Российской академии наук Институт Программных Систем РАН Головной исполнитель в программах Союзного государства России и Белоруссии «СКИФ» организаций от РФ «СКИФ-ГРИД» организаций от РФ : пять суперкомпьютеров марки «СКИФ» в рейтинге Top500 (из шести Российских) Место расположения – г. Переславль-Залесский, 120 км от Москвы

Институт программных систем Российской академии наук ИПС РАН, : Совещание «Развитие высокопроизводительных вычислений (СуперЭВМ) в России"

Институт программных систем Российской академии наук 2000–2007: Ряд 1 и Ряд 2 семейства суперЭВМ «СКИФ»

Институт программных систем Российской академии наук Ряд 1 и 2: Linpack-производительность образцов

Институт программных систем Российской академии наук Комплект ПО суперкомпьютеров «СКИФ» системное ПО системное ПО: операционная система; базовые библиотеки поддержки параллельного счета; файловые системы; системы очередей, мониторинга и управления; стандартные системы программирования C, C++, Fortran; и т. п. средства разработки параллельных программ средства разработки параллельных программ программные системы, инструментальные средства и библиотеки: Grace, Open TS, MIRACLE и др.; два десятка параллельных прикладных систем два десятка параллельных прикладных систем для различных областей.

Институт программных систем Российской академии наук Ряд Годы и пиковая произв-ть ядер CPU/ разряд. Сетевые решения Форм- фактор Примечание – –500 GFlops 1/32 FastEth, SCI (2D-тор), Myrinet 4U 1U Отечественный SCI (2D-тор) – – 5 Tflops 1/ 32–64 Gb Eth, SCI (3D-тор), InfiniBand 1U, Hyper- Bblade ServNet v.1, v.2 Ускорители: FPGA, ОВС Суперкомпьютеры семейства «СКИФ» Ряд СКИФ Т-Forge Gflops74 Gflops 2004 СКИФ T-Forge20HB (HyperBlade)88 Gflops70 Gflops 2003 СКИФ К-500 #405 Top /11717 Gflops417 Gflops 2004 СКИФ К-1000 #98 Top / Gflops2032 Gflops 2003 СКИФ Т-Forge Gflops74 Gflops 2004 СКИФ T-Forge20HB (HyperBlade)88 Gflops70 Gflops 2003 СКИФ К-500 #405 Top /11717 Gflops417 Gflops 2004 СКИФ К-1000 #98 Top / Gflops2032 Gflops 2000 СКИФ Первенец20 Gflops11 GFlops 2001 СКИФ ВМ Gflops26 Gflops 2002 СКИФ Myrin 89 Gflops59 Gflops 2002 СКИФ Перевенец-М98 Gflops57 Gflops 2003 СКИФ ЕС ТКС403 GFlops230 GFlops 2000 СКИФ Первенец20 Gflops11 GFlops 2001 СКИФ ВМ Gflops26 Gflops 2002 СКИФ Myrin 89 Gflops59 Gflops 2002 СКИФ Перевенец-М98 Gflops57 Gflops 2003 СКИФ ЕС ТКС403 GFlops230 GFlops

Институт программных систем Российской академии наук Суперкомпьютеры семейства «СКИФ» Ряд СКИФ ЕС ТКС 2001 СКИФ ВМ СКИФ Первенец

Институт программных систем Российской академии наук Суперкомпьютеры семейства «СКИФ» Ряд : СКИФ Т-Forge , СКИФ T-Forge20HB 2004, ускоритель Однородная ВС 2003, СКИФ К-500 #405 Top / , СКИФ К-1000 #98 Top /11

Институт программных систем Российской академии наук Сервисная сеть для суперЭВМ «СКИФ» Ряда 2 Servnet ver.1 и ver.2 Servnet ver. 1 Servnet ver. 2

Институт программных систем Российской академии наук 2007–2008: Ряд 3 семейства суперЭВМ «СКИФ»

Институт программных систем Российской академии наук Основные требования к суперЭВМ «СКИФ» Ряда 3 и 4 64-разрядные многоядерные Современные 64-разрядные многоядерные процессоры Повышенные плотности Повышенные плотности (на объем) вычислительной мощности и уровень энергопотребления (в 1,5–2,0 раза, чем в Рядах 1 и 2) Значит, и новые технологии охлаждения Новые технологии взаимодействия и управления Новые технологии взаимодействия узлов и управления узлами и кластерами Расширенные сервисные функции Расширенные сервисные функции: мониторинг внутренней температуры, контроль работы системы вентиляции и др. Поддержка Грид-системах виртуализации Поддержка использования суперкомпьютеров в Грид-системах, поддержка режимов виртуализации

Институт программных систем Российской академии наук 2007–2008 гг. Создание СуперЭВМ «СКИФ» Ряда 3 Создание модулей и узлов для суперЭВМ семейства «СКИФ» Ряда 3. Разработка КД, ПД и создание в России на базе отечественных blade-решений и 4-х ядерных процессоров суперЭВМ Ряда 3 «СКИФ МГУ» и «СКИФ Урал» Разработка КД, ПД и создание в Беларуси суперЭВМ Ряда 3 «СКИФ К-1000М» путем модернизации «СКИФ К-1000»

Институт программных систем Российской академии наук Ряд Годы и пиковая произв-ть ядер CPU/ разряд. Сетевые решения Форм- фактор Примечание – –500 GFlops 1/32 FastEth, SCI (2D-тор), Myrinet 4U–1U Отечественный SCI (2D-тор) – – 5 Tflops 1/ 32–64 GB Eth, SCI (3D-тор), InfiniBand 1U, Hyper- Bblade ServNet v.1, v.2 Ускорители: FPGA, ОВС – –150 Tflops 2–4/64 GB Eth InfiniBand DDR 1U, blades ServNet v.3 воздух–вода– фреон Суперкомпьютеры семейства «СКИФ» Ряд 3 #105 Top / СКИФ Cyberia #105 Top /0612 Tflops9.01Tflops модернизация 2008 СКИФ К-1000М модернизация5.07 Tflops3.72 Tflops #282 Top / СКИФ Урал #282 Top / Gflops12.2 Gflops #36 Top / СКИФ МГУ #36 Top /0660 Tflops47.17 Gflops

Институт программных систем Российской академии наук СуперЭВМ семейства «СКИФ» Ряда , СКИФ МГУ #36 Top / , СКИФ Урал #282 Top / , СКИФ Cyberia #105 Top /06

Институт программных систем Российской академии наук СКИФ МГУ, СКИФ Урал: Blade-серверы и шасси для них 10×Blades CPU: 2×Intel XEON Clovertown/Harpertown RAM: 8 слотов FB-DIMM 667 / 533MHz Чипсет: Intel 5400 (Seaburg) До 2х HDD SATA 2.5 2×Gigabit Etherhet Первое российское blade-решение Собственная разработка и производство компании «Т-Платформы» Самая большая плотность в индустрии: 10 «лезвий» в корпусе высотой: 5U 20 CPU / 80 cores / ~0.7 Tflops Плотность на 18% лучше, чем у любых аналогов Единственный blade со стандартным PCI-Express 8x

Институт программных систем Российской академии наук Сервисная сеть ServNet-3 для суперЭВМ ряда 3 семейства «СКИФ» Двухуровневая архитектутра Применима к суперЭВМ с любым числом узлов и шасси (петафлопного диапазона) Операции с узлами On/Off Reset Serial Console Info состояние узла Измерение T(C o ) и U 1 …U n (V) Операции с шасси Измерение скорости вращения вентиляторов Управление скоростью вращения вентиляторов

Институт программных систем Российской академии наук Сервисная сеть ServNet-3 для суперЭВМ ряда 3 семейства «СКИФ» ServNet-T60: Плата управления вычислительным узлом по одной на каждое лезвие, на плате один микроконтроллер, 70×80 мм, выпущено ~800шт. ServNet CMB: Плата управления шасси по одной на каждое шасси, 372×60 мм, выпущено ~80шт. Разработка: ИПС РАН Изготовление: ИПС РАН

Институт программных систем Российской академии наук 2008–2010: Ряд 4 семейства суперЭВМ «СКИФ»

Институт программных систем Российской академии наук 2008–2010 гг. Создание СуперЭВМ «СКИФ» Ряда 4 Создание модулей и узлов для суперЭВМ «СКИФ» Ряда 4 отечественный интерконнект отечественный интерконнект ускорители ускорители новые конструктивно-технологические решения и т.п новые конструктивно-технологические решения и т.п. В России «СКИФ Т-4» (название рабочее) стандартные процессоры + ускорители В Беларуси «СКИФ ОИПИ Т-4» (название условное) отечественные blade-серверы и 4-х ядерные процессоры. ускорители отработки решений на перспективу Создание образцов модулей и узлов для проведения исследований и отработки решений на перспективу (после 2010 года) улучшение показателя «производительность на ватт» новые многоядерные процессоры новые архитектурные решения гибридные вычислительные узлы

Институт программных систем Российской академии наук Ускорители в СуперЭВМ «СКИФ» Ряда 4 Два способа интеграции ускорителей Два способа интеграции ускорителей ускорители в составе основных вычислительных модулей, например, подключаемые через шину PCI Express отдельные вычислительные модули, подключаемые к системной сети Кандидаты на роль ускорителей: Кандидаты на роль ускорителей: мультиядерные кристаллы ClearSpeed, Cell, FPGA, GPU и другие Типы используемых ускорителей должны быть уточнены в процессе отработки идеологии создания суперкомпьютеров «СКИФ» Ряда 4 Серверы exCellenT-platforms компании «Т-платформы»: 2 x CPU Cell 3.2 GHz; RAM: 8 GB; HDD:2 x SATA 160GB; 1U Модули МЦОС НПЦ «ЭЛВИС» Реконфигурируемые вычислительные системы на FPGA (НИИ МВС, Таганрог)

Институт программных систем Российской академии наук НПЦ «ЭЛВИС»: Прототип модуля МЦОС-01

Институт программных систем Российской академии наук Ряд Годы и пиковая произв-ть ядер CPU/ разряд. Сетевые решения Форм- фактор Примечание – –500 GFlops 1/32 FastEth, SCI (2D-тор), Myrinet 4U–1U Отечественный SCI (2D-тор) – – 5 Tflops 1/ 32–64 GB Eth, SCI (3D-тор), InfiniBand 1U, Hyper- Bblade ServNet v.1, v.2 Ускорители: FPGA, ОВС –2008 5–150 Tflops 2–4/64 GB Eth InfiniBand DDR 1U, blades ServNet v.3 воздухвода фреон – –5 Pflops 4–8/64 InfiniBand QDR, отечественная сеть (3D-тор) blades cooling! Ускорители: FPGA, GPU, Cell, МЦОС Суперкомпьютеры семейства «СКИФ» Ряд 4

Институт программных систем Российской академии наук Что есть отечественного в суперЭВМ семейства «СКИФ»?

Институт программных систем Российской академии наук Что есть отечественного в суперЭВМ «СКИФ»? Сегодня все суперЭВМ как правило создаются с широким использованием мирового распределения труда Сегодня ни одна страна (компания) не разрабатывает и не производит все компоненты своих суперЭВМ (исключениеСША?) Сегодня суперЭВМ «СКИФ» основываются на использовании зарубежной элементной базы Почему суперЭВМ «СКИФ» отечественные? Почему суперЭВМ «СКИФ» отечественные? 1. Разрабатываются и производятся нашими специалистами 2. Беларусь и Россия собственники КД на узлы и на изделия целиком 3. На часть разработок имеются патенты 4. Если лучше, чем чужое значит не чужое, значит свое 5. Top500: независимое признание страны происхождения суперЭВМ»

Институт программных систем Российской академии наук Если лучше всех зарубежных, то какие сомнения в отечественном произхождении? СКИФ К-500, СКИФ Cyberia, СКИФ МГУ, СКИФ Урал продемонстрировали лучший показатель КПД на процессорах Intel В ноябре 2004 СКИФ К-1000 занял первое место в мире на тесте «столкновение 3 автомобилей» в рейтинге TopCrunch ( поддержан DARPA). В феврале 2007 СКИФ Cyberia выдает по сравнению с современных суперЭВМ (Cray, HP, IBM, SUN): лучший (на 8..13%) КПД; лучшую (в 2–1.5 раза) масштабируемость на пакете STAR-CD Уникальные свойства аппаратных решений: Уникальные свойства аппаратных решений: отечественных Servnet и blade-решений

Институт программных систем Российской академии наук 2007 февраль СКИФ Cyberia 9.013/ Flops 2002 июнь МВС 1000М 0.734/1.024 Flops 2003 ноябрь СКИФ К /0.717 Flops 2004 ноябрь СКИФ К /2.534 Flops 2008 май СКИФ Урал 12.2/15.9 Flops 2008 май СКИФ МГУ 47.1/60 Flops признаных отечественных Шесть признаных отечественных суперЭВМ в Top500… Пять из шести СКИФы Июнь 2008: впервые три отечественных суперЭВМ в Top место самое высокое достижение России Россия вышла из категории «и другие страны» Россия попала в headline пресс-релиза Intel-а Июнь 2008: впервые три отечественных суперЭВМ в Top место самое высокое достижение России Россия вышла из категории «и другие страны» Россия попала в headline пресс-релиза Intel-а

Институт программных систем Российской академии наук Отечественные разработки и ИС в СуперЭВМ «СКИФ» 1 схемотехнические решения; конструкторская документация корпусов и стоек программное обеспечение кластерного уровня семейства СКИФ 2 Сервис- ная сеть Servnet v.1, 2, 3 доработка вычислительных узлов по отечественной спецификации интерконнект отечественного производства SCI 2D-тор (НИЦЭВТ) 3 Разработка КД и производство blade-серверов и шасси 4 КД на ускорители вычислений; КД на гибридные узлы КД на интерконнект отечественной разработки «ИС на все (все печатные платы, дизайн и т.п.), кроме микросхем»

Институт программных систем Российской академии наук Семейство суперЭВМ «СКИФ»: Ряд 1, 2, 3 и 4 Ряд 1 Ряд 2 Ряд 3 Ряд 4 57 Gflops Первенец-М 26 Gflops ВМ Gflops Первенец (2 шт) 2032 Gflops СКИФ К Gflops СКИФ К Tflops СКИФ МГУ 12.2 Tflops СКИФ Урал 9 Тflops СКИФ Cyberia 11/2011 СКИФ П~5.0 11/2010 СКИФ П /2009 СКИФ П-0.5

Институт программных систем Российской академии наук 0.5 Pflops 1 Pflops 10 Pflops Использование старых инвестиций Все результаты СКИФ и кооперация соисполнителей ИПС РАН суперкомпьютерный центр 90ых, почти готовый сборочный цех: возможность за разумные средства обеспечить +6 МВт к лету 2009 и +6 МВт к лету 2010 канал до узла M9IX: 20 Mbps сегодня и предложения по дополнительным 1 Gbps–10 Gbps 700 кв.м. машинный зал ни разу не использовался, требует небольшой отделки на уровне грунта без ограничения нагрузки на 1 кв.м.

Институт программных систем Российской академии наук Корпус «А» ИПС РАН

Институт программных систем Российской академии наук Циклы работы сборочного цеха (до 2013) построение СКИФ Т500 6 МВт, июнь октябрь начало построения СКИФ Т МВт, июнь октябрь отгрузка СКИФ Т500 построения СКИФ Т1, МВт, до марта отгрузка СКИФ Т1,000 построение СКИФ Т10, МВт, до марта

Институт программных систем Российской академии наук Задачи для СуперЭВМ Т-500 Расчёт электронных свойств Молекулярная динамика устройств Виртуальное проектирование Нанотехнологии

Институт программных систем Российской академии наук Задачи для СуперЭВМ Т-500 Анализ изменений климата Прогнозирование погоды Состояние атмосферы Науки о Земле

Институт программных систем Российской академии наук Задачи для СуперЭВМ Т-500 Виртуальное проектирование От авиации до железных дорог Оптимизация Инженерные расчёты

Институт программных систем Российской академии наук Задачи для СуперЭВМ Т-500 Новые лекарства и методы лечения Геномика Поиск в базах данных «Науки о жизни»

Институт программных систем Российской академии наук Достоинства предлагаемого решения для СКИФ Т500 Снижение рисков, гарантия успеха в весьма непростом проекте Использование задела по проекту «0.5110» (технологические партнеры, скидки, наработки) Полное отечественное IP на все (кроме микросхем) все как у IBM, HP и др. Полностью стандартное решение, пойдет все ПО (СКИФ и прикладное коммерческое), никаких экзотических архитектур Возможность построения системы в сжатые сроки при существующем бюджете Существенное снижение затрат Удобство в управлении и техническом обслуживании системы

Институт программных систем Российской академии наук Спасибо за внимание! Готов ответить на вопросы... СКИФское золото: Декабрь 2000 года:11 Gflops, Первенец Март 2007 года: Gflops, СКИФ МГУ За срок менее:7.5 лет Рост более, чем в:4 000 раз