Сетевой интерактивный ресурс данных по физике космоса Space Physics Interactive Data Resource (SPIDR) Михаил Жижин, ИФЗ РАН jjn@wdcb.ru. - презентация

1 Сетевой интерактивный ресурс данных по физике космоса Space Physics Interactive Data Resource (SPIDR) Михаил Жижин, ИФЗ РАН

2 Основная концепция Интерактивный поиск данных (data mining) Параллельность – сразу в нескольких базах данных Метаданные – общий список параметров, спутников и наземных станций Многодисциплинарная визуализация События – удовлетворить нечеткие критерии отбора Функции Гибкая доставка данных по Сети (content delivery) Синхронные региональные серверы Персональная «покупательская» корзина Адаптивный формат экспорта данных Приложения Сбор и контроль качества данных Синтез данных B2B источник для моделей космической погоды

3 Основные разделы данных SSN – статистика солнечных пятен, с 1700 Геомагнитные вариации (минутные и часовые) тестируется, c 1901 Геомагнитные и солнечные индексы, с 1932 Параметры ионосферы, c 1954 IMF – межпланетное магнитное поле и параметры солнечного ветра, с 1973 GOES – геостационарные спутники NOAA, с 1986 DMSP – метеорологические спутники, с 1991 Изображения Солнца в различных диапазонах и магнитограммы, с 1992

4 Типовой узел SPIDR

5 Кластер баз данных

6 Linux-кластер

7 Кластер баз данных в Москве 15 Linux nodes 1 Tbyte of disk space 1 Gbit Ethernet backbone 1 Gbit optical link to Internet

8 Подключаемые (pluggable) базы данных Для подключения новой базы данных необходимо: Написать метод доступа к базе, создающий объект модели данных SPIDR (день наблюдений параметра на станции) по JDBC запросу (MySQL, Oracle); Создать HTML (JSP) форму запроса данных; Проинформировать сервлеты выборки и визуализации о новом типе данных (метаданные о физических единицах, масштабах и типах шкал на графиках, и т.п.)

9 Новости Ссылки на узлы Прошлые сессии Доступные данные на текущий момент

10 Динамический интерфейс

11 Синхронные графики временных рядов

12 Интерактивная картография Карта станций для интервала дат Список и описания отобранных станций Java HTML

13 Web-анимация рядов изображений со спутников Изображения Солнца: обсерватории и спутники Снимки Земли: DMSP, Terra

14 Расстановка узлов SPIDR

15 Поддержка множества узлов Региональные узлы в России, США, Африке, Австралии, Японии и Китае Сравнение метаданных на разных узлах (web-сервисы) Независимая загрузка данных в любой из узлов (браузер или web-сервис) Автоматическая синхронизация узлов (e- mail) Автоматический анализ логов загрузки и предупреждение об ошибках ( )

16 Загрузка данных через Web

17 Сравнение метаданных на разных узлах SPIDR

18 Детальная инвентаризация за период-элемент-станцию

19 Сравнение узлов и синхронизация по запросу

20 Геомагнитные данные из России

21 Нечеткий поиск событий Data basket Fuzzy search Visualization

22 Критерий поиска в терминах нечеткой логики «Спокойный день»: Малые значения индекса Kp Индекс Dst около нуля «Магнитная буря»: Большие значения индекса Kp Большие отрицательные значения Dst

23 Форма «нечеткого» запроса ПараметрыТип нечеткой функции принадлежности Пороги и значимость Временной интервал для поиска

24 Результат поиска – список событий

25 «Синтез» данных в SPIDR Минутные данные о солнечном ветре (скорость, плотность, магнитное поле): ACE – с августа 1997 WIND – с ноября 1994 IMP8 – с июля 1992 по ноябрь 2000

26 Слияние минутных данных с трех спутников Средняя скорость солнечного ветра и задержка до границы магнитосферы для каждого спутника На данную минуту если нет данных ACE, то использовать WIND, в крайнем случае IMP8 (с учетом положения вне

27 Сравнение с часовыми данными OMNI, 1-7 августа 1999 ПлотностьМагнитное поле 1 мин OMNI

28 Space Weather Reanalysis - SWR

29 Контроль качества данных для SWR

30 SWR homepage

31 SWR временные ряды Графики временных рядов Java апплет или GIF изображения Запрос на выборку временного ряда в интервале времени для нескольких узлов на сетке и по множеству параметров

32 SWR значения поля на сетке Статические карты 9 – 12 на страницу Динамический Java для анимации изменения поля во времени

33 Распределение пользователей на узле в Болдере, США 6400 users from USA

34 Статистика в реальном времени Доступна на каждом узле из меню: - SPIDR tools - Statistics Запросы на визуализацию и экспорт данных Число пользователей

35 Bugrat – база данных ошибок и исправлений

36 Основная концепция Интерактивный поиск данных (data mining) Параллельность – сразу в нескольких базах данных Метаданные – общий список параметров, спутников и наземных станций Многодисциплинарная визуализация События – удовлетворить нечеткие критерии отбора Функции Гибкая доставка данных по Сети (content delivery) Синхронные региональные серверы Персональная «покупательская» корзина Адаптивный формат экспорта данных Приложения Сбор и контроль качества данных Синтез данных B2B источник для моделей космической погоды

37 Coming release SPIDR 3.0 MVC and workflow state machine using Jakarta Struts Enhanced usability with wizards: data collection trails by time and by dataset Ionosphere data loading and synchronization re-worked Web services for all B2B transactions SWR data products included Experimental SPDML-compliant metadata Experimental GRID Globus toolkit ver. 3+