Применение распределенных вычислительных систем при определении параметров сейсмической анизотропии коры и верхней мантии к.т.н. Мишин Дмитрий Юрьевич. - презентация

1 Применение распределенных вычислительных систем при определении параметров сейсмической анизотропии коры и верхней мантии к.т.н. Мишин Дмитрий Юрьевич Геофизический центр РАН, Институт космических исследований РАН

2 Современные проблемы хранения и доступа к геофизическим данным Повторяющиеся задачи создания (сверхбольших) баз данных для новых геофизических продуктов Необходимость обеспечения скорости доступа, достаточной для интерактивного анализа любой выборки из массива геофизических данных Данные не должны удаляться или перезаписываться. Флаги: происхождение и история изменения, аккредитация, качество, тип Многоуровневые распределенные хранилища метаданных (предметный каталог, пространственно-временное распределение, автоматический заказ и обработка) Функционально насыщенные сервисы данных, поддерживающие выборку, обработку и поиск данных, расположенные близко к хранилищу данных

3 Обобщенные семантически модель данных и отвечающий ей язык запросов для разнородных наборов геофизических данных (классы данных: наблюденные и модельные данные на станциях, на координатных сетках, траекториях; электронные карты, изображения и данные дистанционного зондирования) Распределенные алгоритмы для балансировки загрузки сети/баз данных Сценарий обработки геофизических данных: экспорт – моделирование – визуализация – сохранение. Опорные веб-сервисы базовых сертифицированных наборов геофизических данных и моделей Интеграция с сервисами электронных карт MS Virtual Earth, Google Maps, WMS и научными визуализационными библиотеками Современные проблемы хранения и доступа к геофизическим данным (2)

4 Развитие компьютерного хранения и обработки данных

5 Грид : Инфраструктура: каналы связи, вычислительные центры и центры данных Промежуточное программное обеспечение: виртуальная среда для запуска задач, компоненты мониторинга, хранилища данных, компоненты передачи данных, система безопасности с поддержкой виртуальных организаций Набор соглашений между научными центрами о распределении ресурсов «Грид (Grid) - это согласованная, открытая и стандартизованная среда, которая обеспечивает гибкое, безопасное, скоординированное разделение ресурсов в рамках виртуальной организации.» (Я. Фостер, К. Кессельман)

6 Участие в EGEE III (Enabling Grids for E-sciencE) В настоящее время в проекте EGEE участвуют 90 ведущих организаций из 32 стран, включая российский сегмент RDIG Российская национальная виртуальная организация для Наук о Земле – eEarth, в которую входят ГЦ РАН, ИФЗ РАН, ИКИ РАН Совместные работы с европейской виртуальной организацией по наукам о Земле ESR (Earth Science Research), в которую входят ведущие геофизические и климатологические научные центры Перенос сейсмологических моделей на промежуточное программное обеспечение Грид gLite Разработка приложений для добычи данных об окружающей среде, основанных на среде OGSA-DAI, распределенном CDM хранилище ActiveStorage для временных рядов и ESSE- поисковике событий в терминах нечеткой логики

7 Сервисы информационных моделей и потоков данных в Грид Активное хранилище и другие источники Активное хранилище и другие источники Метаданные. Виртуальная обсерватория Метаданные. Виртуальная обсерватория OGSA-DAI Грид-сервисы и анализ данных OGSA-DAI Грид-сервисы и анализ данных Сейсмические, погодные, космические модели WMS, WCS Virtual Earth Google Earth Nasa World Wind WMS, WCS Virtual Earth Google Earth Nasa World Wind REST и SOAP Шаблоны запросов KML и tile серверы NetCDF и NcML JDBC, Файлы, сервисы

8 Мировые центры данных: SPIDR (Space Physics Interactive Data Archive) С 1815 года по н.в. ~120 параметров, ~0.5 TB Интеграция источников данных по окружающей среде в Грид NOAA CLASS (Comprehensive Large Array-data Stewardship System) Спутниковые снимки, ~1.2 PB, растет ~0.5 PB в год С 1992 года по н.в. Спутниковые снимки ~100 спектральных каналов Спутниковая телеметрия NOAA и ECMWF NCEP/NCAR реанализ погоды, ~1 TB С 1950 года по н.в. Погодные параметры на регулярном гриде, шаг 2.5 градуса ERA40 реанализ погоды, ~2 TB С 1957 года по н.в. Погодные параметры на регулярном гриде, шаг 1 градус NWS прогноз погоды Погодные параметры на регулярном гриде, шаг 1 градус NCDC Метеорологические наблюдения С 1901 года по н.в., 122 GB база данных, 400 GB файлов 30 миллионов сенсоров, 1.7 миллиарда наблюдений, станций Климатические данные Космическая погода Дистанционное зондирование Мировые центры данных: Электронные карты Геология и разломы, сейсмические каталоги, топография и батиметрия Сотни слоев, ~0.5 TB Твердая Земля

9 Виртуальная Обсерватория – информационный метаресурс Виртуальная обсерватория – приложение для научных информационных мета- ресурсов, объединяющее в себе метаданные о существующих данных, Интернет-ресурсах и программных средствах, используемых в одной предметной области Пользователь ВО может получить представление о происходящем в предметной области, о новостях, разрабатываемом программном обеспечении, о новых и архивных данных, об открывшихся и давно существующих ресурсах, произвести сквозной текстовый поиск, или поиск по координатам или времени, получив информацию даже о самых малоизвестных ресурсах, удовлетворяющих условиям поиска

10 Виртуальная обсерватория - система работы с XML метаданными VxOware – ПО с открытым исходным кодом Ключевые компоненты: 1) Web-приложение; 2) REST сервисы; 3) native XML база данных; 4) Хранилище индексированных объектов (документы, изображения, …) XML: поддержка catalog-level схем метаданных: FGDC, ECHO, SPASE, NGDC, Ordering Extensions Распределенный поиск метаданных в федерации ВО через REST сервисы Web 2.0 функции для совместной работы: веб- редактирование, отношения, tagging, ranking, пользовательские комментарии, и т.д.

11 Проблема хранения пространственно- временных геофизических данных Активное хранилище для Common Data Model, MS SQL Server 2 TB климатических данных, Общая модель данных (Common Data Model) – это структура для хранения значений параметра в различные моменты времени на регулярном гриде, в указанных координатах (точки или станции) или пространственно- временных траекториях. Взрыв индексного пространства MySQL базы данных,

12 Преимущества CDM Модель данных в виде многомерного массива, чаще используемая в геофизике, чем связанные реляционные таблицы Обобщает разнообразие схем реляционных баз данных для хранения массивов Поддерживает стандартные конвенции и форматы хранения данных Легкость трансформации в бинарный формат (NetCDF), XML (NcML) и обратно Совместимость с API, библиотеками и программами для чтения и визуализации NetCDF Предоставляет язык запроса и обработки многомерных данных, сравнимый с SQL

13 Скорость доступа к данным с использованием Грид-сервиса при различной геометрии запроса

14 Архитектура Грид-сервисов геофизических данных

15 Анизотропные параметры определяются по двум группам данных: волновым формам SKS и обменных волн. Среда под станцией моделируется пачкой плоских слоёв на полупространстве. Моделирование проводилось на синтетических примерах и реальных данных (Тянь-Шань). Определение анизотропных сейсмических свойств литосферы и верхней мантии на основе инверсии волновых форм поперечных волн. Целевые функции обменных волн (RF) и волн SKS определяются как среднеквадратичное отклонение наблюдений (obs) от соответствующих расчетов (syn) для вектора модели m.

16 Определение анизотропных сейсмических свойств литосферы и верхней мантии на основе инверсии волновых форм поперечных волн. Благодаря использованию Грид, решена обратная геофизическая задача путем исследования всего пространства параметров многомерной целевой функции. Была реализована процедура нахождения и исследования глобального экстремума целевой функции, проведен анализ согласованности различных групп данных и проведена геофизическая интерпретация результатов моделирования. Функции распределения по азимутам для станций CHM и AKSU

17 Запуск параллельных сейсмических задач в среде Condor Использование среды управления параллельными вычислениями Condor позволяет использовать преимущества Грид-среды на стандартных клиентских компьютерах под управлением MS Windows