Сетевой интерактивный ресурс данных по физике космоса Space Physics Interactive Data Resource (SPIDR) Михаил Жижин, ИФЗ РАН

Основная концепция Интерактивный поиск данных (data mining) Параллельность – сразу в нескольких базах данных Метаданные – общий список параметров, спутников и наземных станций Многодисциплинарная визуализация События – удовлетворить нечеткие критерии отбора Функции Гибкая доставка данных по Сети (content delivery) Синхронные региональные серверы Персональная «покупательская» корзина Адаптивный формат экспорта данных Приложения Сбор и контроль качества данных Синтез данных B2B источник для моделей космической погоды

Основные разделы данных SSN – статистика солнечных пятен, с 1700 Геомагнитные вариации (минутные и часовые) тестируется, c 1901 Геомагнитные и солнечные индексы, с 1932 Параметры ионосферы, c 1954 IMF – межпланетное магнитное поле и параметры солнечного ветра, с 1973 GOES – геостационарные спутники NOAA, с 1986 DMSP – метеорологические спутники, с 1991 Изображения Солнца в различных диапазонах и магнитограммы, с 1992

Типовой узел SPIDR

Кластер баз данных

Linux-кластер

Кластер баз данных в Москве 15 Linux nodes 1 Tbyte of disk space 1 Gbit Ethernet backbone 1 Gbit optical link to Internet

Подключаемые (pluggable) базы данных Для подключения новой базы данных необходимо: Написать метод доступа к базе, создающий объект модели данных SPIDR (день наблюдений параметра на станции) по JDBC запросу (MySQL, Oracle); Создать HTML (JSP) форму запроса данных; Проинформировать сервлеты выборки и визуализации о новом типе данных (метаданные о физических единицах, масштабах и типах шкал на графиках, и т.п.)

Новости Ссылки на узлы Прошлые сессии Доступные данные на текущий момент

Динамический интерфейс

Синхронные графики временных рядов

Интерактивная картография Карта станций для интервала дат Список и описания отобранных станций Java HTML

Web-анимация рядов изображений со спутников Изображения Солнца: обсерватории и спутники Снимки Земли: DMSP, Terra

Расстановка узлов SPIDR

Поддержка множества узлов Региональные узлы в России, США, Африке, Австралии, Японии и Китае Сравнение метаданных на разных узлах (web-сервисы) Независимая загрузка данных в любой из узлов (браузер или web-сервис) Автоматическая синхронизация узлов (e- mail) Автоматический анализ логов загрузки и предупреждение об ошибках ( )

Загрузка данных через Web

Сравнение метаданных на разных узлах SPIDR

Детальная инвентаризация за период-элемент-станцию

Сравнение узлов и синхронизация по запросу

Геомагнитные данные из России

Нечеткий поиск событий Data basket Fuzzy search Visualization

Критерий поиска в терминах нечеткой логики «Спокойный день»: Малые значения индекса Kp Индекс Dst около нуля «Магнитная буря»: Большие значения индекса Kp Большие отрицательные значения Dst

Форма «нечеткого» запроса ПараметрыТип нечеткой функции принадлежности Пороги и значимость Временной интервал для поиска

Результат поиска – список событий

«Синтез» данных в SPIDR Минутные данные о солнечном ветре (скорость, плотность, магнитное поле): ACE – с августа 1997 WIND – с ноября 1994 IMP8 – с июля 1992 по ноябрь 2000

Слияние минутных данных с трех спутников Средняя скорость солнечного ветра и задержка до границы магнитосферы для каждого спутника На данную минуту если нет данных ACE, то использовать WIND, в крайнем случае IMP8 (с учетом положения вне

Сравнение с часовыми данными OMNI, 1-7 августа 1999 ПлотностьМагнитное поле 1 мин OMNI

Space Weather Reanalysis - SWR

Контроль качества данных для SWR

SWR homepage

SWR временные ряды Графики временных рядов Java апплет или GIF изображения Запрос на выборку временного ряда в интервале времени для нескольких узлов на сетке и по множеству параметров

SWR значения поля на сетке Статические карты 9 – 12 на страницу Динамический Java для анимации изменения поля во времени

Распределение пользователей на узле в Болдере, США 6400 users from USA

Статистика в реальном времени Доступна на каждом узле из меню: - SPIDR tools - Statistics Запросы на визуализацию и экспорт данных Число пользователей

Bugrat – база данных ошибок и исправлений

Основная концепция Интерактивный поиск данных (data mining) Параллельность – сразу в нескольких базах данных Метаданные – общий список параметров, спутников и наземных станций Многодисциплинарная визуализация События – удовлетворить нечеткие критерии отбора Функции Гибкая доставка данных по Сети (content delivery) Синхронные региональные серверы Персональная «покупательская» корзина Адаптивный формат экспорта данных Приложения Сбор и контроль качества данных Синтез данных B2B источник для моделей космической погоды

Coming release SPIDR 3.0 MVC and workflow state machine using Jakarta Struts Enhanced usability with wizards: data collection trails by time and by dataset Ionosphere data loading and synchronization re-worked Web services for all B2B transactions SWR data products included Experimental SPDML-compliant metadata Experimental GRID Globus toolkit ver. 3+