Опыт использования вычислительных систем сверхвысокой производительности Четверушкин Б.Н. Институт математического моделирования РАН

Развитие отрасли В настоящее время пользователю стали доступны вычислительные системы с производительностью более 10 Tflops. Многоядерность процессоров. Большие возможности в моделировании научных, индустриальных, экономических, экологических и других проблем. Индустриальные задачи: мультидисциплинарность, сложная геометрия, многовариантность, высокая точность расчётов. Математическое моделирование на этих системах – важнейший фактор научно-технического прогресса и национальной безопасности.

Проблемы К сожалению, указанные возможности реализуются лишь в малой степени. Трудности адаптации алгоритмов и прикладного программного продукта на архитектуру многопроцессорных, многоядерных систем. Гибридная архитектура (OpenMP/MPI). Корректность используемых алгоритмов и математических моделей. Логическая простота алгоритмов.

Институт Математического Моделирования РАН , Mиусская пл. 4а, Москва Heat and Mass Transfer Technological Center Colom 11, E-08222, Terrassa, Barcelona, Spain Постановка задачи Размер сетки 128х680х1280, 111 млн. узлов DNS выполнено на 512 процессорах суперкомпьютера Marenostrum схема 4-го порядка аппроксимации Ra = 10 11, Pr = 0.71 (воздух) Соотношение высоты и ширины – 4 к 1

Институт Математического Моделирования РАН , Mиусская пл. 4а, Москва Результаты расчётов

Кинетические и Lattice-Boltzmann схемы Разрывные конечные элементы (Discontinuous Galerkin) Параллельные методы линейной алгебры Неструктурированные и динамически адаптивные сетки Блочное разбиение (Domain Decomposition) Рациональное разбиение на подобласти Визуализация данных высокопроизводительных вычислений Динамическая балансировка загрузки процессоров Современные CAD-технологии Гибридные языки программирования Обработка баз данных сверхбольшого объёма Алгоритмы и программное обеспечение для нетрадиционных архитектур (графические ускорители, ПЛИС)

Кинетические, Lattice Boltzman схемы, метод стабилизационных поправок Отличие от традиционных алгоритмов: в основе лежит дискретная модель для одночастичной функции распределения. Явные схемы с хорошим (типа Куранта: τ~h) условием устойчивости. Адаптация на любые, в том числе сложные неструктурированные сетки. Внутренняя корректность – гарантия сглаживания на расстоянии длины свободного пробега – успешный расчёт различного рода неустойчивостей. j j j j j j j j j+1

Балансные соотношения на произвольной сетке

Схемы повышенного порядка точности Метод конечных объемов: Метод конечных элементов: «медианный» контрольный объем тетраэдры, соседние к узлу i вершины тетраэдра Метод конечных объемов / Метод конечных элементов внешняя нормаль к грани контрольного объема граничные конвективный и диффузионный потоки

Минимальные размеры в механике сплошной среды Выделяются масштабы, на расстояниях меньше которых нет смысла в дальнейшей детализации решения. С их помощью строятся естественные регуляризаторы, имеющие реальный физический смысл. Длина свободного пробега в КС и LBS. Задача фильтрации:

Кинетическое уравнение Энскога

График давления: 1 – точное решение, 2 – решение без регуляризации, 3 – решение с регуляризацией.

Пример декартовой вложенной иерархической сетки с адаптацией к решению

Динамическая адаптация сетки Сетка хранится в виде кватернарного дерева

Интерполяция и соседние элементы Размеры смежных ячеек не могут отличаться более чем вдвое. Таким образом, каждая ячейка может иметь от 6 до 12 соседей. Каждая ячейка имеет 9 точек интерполяции, в которых хранятся величины, аппроксимирующие сеточные функции и их частные производные. Вычисления в этих точках выполняются с учётом соседних значений. Точки интерполяции содержат информацию, достаточную для аппроксимации уравнений в частных производных внутри ячейки, поэтому вычисления в смежных областях выполняются независимо.

Расчёты в гетерогенной среде Сотовая структура: поле абсолютной проницаемости с изменением величины на четыре порядка ( м 2 )

Адаптация сетки

Институт Математического Моделирования РАН , Mиусская пл. 4а, Москва Индустриальные применения Вычислительные эксперименты по ЗПК Вычислительные эксперименты по ЗПК

Институт Математического Моделирования РАН , Mиусская пл. 4а, Москва Базовая численная схема (1/2) Декартова сеткаНеструктурированная треугольная сетка Медианные ячейки Ячейки на центрах описанных окружностей 2D контрольные объемы 3D контрольные объемы Декартова сеткаНеструктурированная тетраэдральная сетка

Институт Математического Моделирования РАН , Mиусская пл. 4а, Москва Базовая численная схема (2/2) 2D треугольная сетка 3D тетраэдральная сетка 2D шаблон высокого порядка: Противопоточные треугольники + соседи 3D шаблон высокого порядка: Противопоточные тетраэдры + соседи (сложность для распараллеливания) Пространственный шаблон для определения потока между узлами I и J

Институт Математического Моделирования РАН , Mиусская пл. 4а, Москва Звукопоглощающие конструкции Панель ЗПК Расчетная область Резонатор Акустические волны в импедансной трубе Сотовая конструкция резонаторов Перфорированный экран

Институт Математического Моделирования РАН , Mиусская пл. 4а, Москва 3D импедансная труба Течение в отверстии резонаторной камеры 300x10 6 пространственных узлов, 30 Tflops, MPI + OpenMP

Моделирование электронного транспорта в наноструктуре c квантовым каналом Квантовый GaAs/AlGaAs транзистор

Математическая модель и методы расчета Система нелинейных уравнений Шредингера для продольных электронных волн в канале Уравнение Пуассона для самосогласованного потенциала электрического поля Задача решается в условиях непрерывного энергетического спектра Волновые функции разделены по направлению и спину на четыре класса: прямые, обратные, спин «вверх», спин «вниз». Количество неизвестных волновых функций изменяется в пределах от 4000 до Количество точек по пространственной координате изменяется от 200 до 1000 Уравнения Шредингера и Пуассона дискретизируются методом конечных объемов Решение дискретных нелинейных уравнений производится с помощью итераций, LU-разложения и продолжения по энергетической координате.

Основные уравнения

Параллельная реализация Распараллеливание задачи производится по группам в энергетическом пространстве При этом используется динамическая балансировка загрузки процессоров, необходимая ввиду неоднородности алгоритма расчета внутри группы Эффективность распараллеливания. Сетка: 500 x 24000

Результаты моделирования: эффект зарядовой поляризации Эффект зарядовой поляризации канала состоит в том, что усредненный по времени заряд канала квантуется и равен некоторому целому числу, измеряемому в единицах электронного заряда. В результате с помощью внешнего электрического поля можно управлять количеством электронов в квантовом канале транзистора. Эффект можно использовать для реализации новых элементов многозначной памяти зарядового типа. Быстродействие такой памяти составляет доли пикосекунды, то есть выигрыш достигается только за счет многозначности. Однако плотность упаковки может быть в 100 раз выше, чем у современных элементов памяти. -электрон с положительным спином -электрон с отрицательным спином

Результаты моделирования: эффект спиновой поляризации Эффект спиновой поляризации состоит в том, что можно управлять не только количеством электронов в канале, но и распределением их спина. В частности, можно заполнить канал электронами только с положительным спином. Эффект можно использовать для реализации новых элементов памяти спинового типа. Быстродействие такой памяти составляет несколько фемтосекунд. Плотность упаковки по крайней мере в 100 раз выше, чем у современных элементов памяти. -электрон с положительным спином -электрон с отрицательным спином

Используемые многопроцессорные вычислительные системы ядер – Tflops 1)МСЦ РАН ( Система МВС-100К содержит 990 вычислительных модулей, в каждом из которых находятся: - по два 4-ядерных процессора Intel® Xeon® 3 ГГц; - от 4 Гб оперативной памяти. Внутренняя сеть – Infiniband DDR, общее число ядер – 7920, пиковая производительность – 95 Tflops. ядер – Tflops 2)НИВЦ МГУ ( Система СКИФ-МГУ содержит 625 вычислительных модулей, в каждом из которых находятся: - по два 4-ядерных процессора Intel® Xeon® 3 ГГц; - от 8 Гб оперативной памяти. Внутренняя сеть – Infiniband DDR, общее число ядер – 5000, пиковая производительность – 60 Tflops.

НЕВЯЗКОЕ ОБТЕКАНИЕ КУЗОВА АВТОМОБИЛЯ (М = 0.12) Сетка: узлов, тетраэдров

Сетка: узлов, тетраэдра ( 24 Гб) МВС: МВС-100К 1. Запуск задачи на 128, 192, 256, 320, 384 и 437 модулях с порождением 2 и 4 параллельных MPI процессов (до 1748 параллельных процессов). 2. Запуск задачи на 437 модулях в рамках гибридной модели параллелизма MPI + OpenMP (3496 параллельных процессов) НЕВЯЗКОЕ ОБТЕКАНИЕ КУЗОВА АВТОМОБИЛЯ

CPU CPU with Copper heat sink Assume that all power heats the heat sink POWER=65W 10mm ~1.4mm Copper 0.3mm thick 7mm …… 97.5mm, 78 Copper fins 100mm …… pump T=20C, flux ~ m 3 /sec Cu 30x30 mm 35mm to wall

(1000 x 3500 x 150 = 525 млн. расчётных узлов)

Двумерная система уравнений динамики транспортного потока

Въезд с малым потоком машин Плотность повышается за въездом

Въезд с большим потоком машин Плотность повышается перед въездом

Временное расширение дороги Пропускная способность дороги падает по сравнению с прямой дорогой.Пропускная способность дороги падает по сравнению с прямой дорогой. Для получения преимущества в пропускной способности расширение дороги должно быть достаточно длинным.Для получения преимущества в пропускной способности расширение дороги должно быть достаточно длинным.

Заключение Без решения фундаментальных проблем дальнейшее использование высокопроизводительных вычислительных систем для решения индустриальных задач оказывается затруднительным. Налицо тесная связь программирования и прикладной математики. Необходима подготовка специалистов высшей квалификации, сочетающих глубокие знания в области прикладной и теоретической математики, программирования и математического моделирования.