Реинжениринг данных общего архива наблюдений САО РАН Желенкова О. П., Витковский В. В., Пляскина Т. А. 1 САО РАН, 27-31 июля, 2009.

Презентация:



Advertisements
Похожие презентации
Интеграция программных систем поддержки астрофизических наблюдений О. П. Желенкова, В. Н. Черненков, В. С. Шергин, Т. А. Пляскина, В. В. Витковский Специальная.
Advertisements

Специальная астрофизическая обсерватория РАН В.В. Витковский, О.П. Желенкова, Е.И. Кайсина, Н.А. Калинина, Г.А. Малькова, В.Н. Черненков,
Автоматизированная библиотечная система и электронный архив открытого доступа Разделение задач, функций и технологических решений Негуляев Е. А. Пятая.
О требованиях к системам управления электронными документами и архивами в органах государственной власти С.А.Жук Заместитель директора Департамента делопроизводства.
Публикация открытых данных органами государственной власти ЗФ: детали процесса публикации наборов открытых данных Москва,
ГСНТИ задание 2.2«Разработать сервер доступа к библиотечным информационным ресурсам по протоколу z39.50 и систему обслуживания по принципу «Одно.
Система управления электронными библиотеками. Состояние Ограниченная доступность электронных представлений в центральных ЭБ Медленная оцифровка изданий.
ФГБУ «Всероссийский научно-исследовательский институт гидрометеорологической информации – Мировой Центр Данных» Технология оцифровки данных с бумажных.
Автоматизация деятельности архивной отрасли Система «АРХИВНЫЙ ФОНД» (версия 4.1) Управление государственной архивной службы Новосибирской области 2010.
Система управления электронными библиотеками Захаров А.А., Филиппов В.С. Вычислительный центр им. Дородницина РАН г. Москва.
ГОРОДСКОЙ МЕТОДИЧЕСКИЙ ЦЕНТР mosmetod.ru Примерная программа учебного предмета «Информатика»
Особенности использования и обеспечения сохранности цифровых документов библиотечного фонда.
© М.Е.Макарова
1 октября 2008 Семантическая интероперабельность государственных информационных систем Михаил Брауде-Золотарев Директор Центра ИТ-исследований.
СОЗДАНИЕ И РАЗВИТИЕ ОТКРЫТОЙ ЭЛЕКТРОННОЙ БИБЛИОТЕКИ РЕЗУЛЬТАТОВ ПРОЦЕССОВ МОДЕРНИЗАЦИИ РОССИЙСКОГО ОБРАЗОВАНИЯ, ВКЛЮЧАЯ ЭКСПЕРТИЗУ И ЭКСПЕРТНУЮ ОЦЕНКУ.
Технология хранения, поиска и сортировки информации в базах данных
Национальная информационная инфраструктура науки, культуры и образования: представление ресурсов электронных библиотек Е.Н.Филинов, А.В.Бойченко Институт.
МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ИНСТИТУТ ЭЛЕКТРОНИКИ И МАТЕМАТИКИ (ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ) КАФЕДРА ИКТ Дипломный проект на тему: Студент: Руководитель проекта:
Применение MPEG-7 для классификации и поиска визуальных данных Вихровский Кирилл Graphics & Media Lab.
Лекция 15 Лекция 15 Управление реляционными базами данных. Языки определения данных и языки манипулирования данными. Способы выражения запросов: процедурный.
Транксрипт:

Реинжениринг данных общего архива наблюдений САО РАН Желенкова О. П., Витковский В. В., Пляскина Т. А. 1 САО РАН, июля, 2009

IAU : FITS- формат ; классификация астрономических объектов ; обозначения объектов ; резолюция 5 Комиссии IAU об открытом веб - доступе к цифровым архивам обсерваторий, финансируемых из государственных бюджетов IVOA : VOTable- формат ; Unified Content Descriptors (UCD); протоколы доступа к данным : ConeSearch, SIAP, SSAP, SLAP, TAP …; Astronomical Data Query Language (ADQL), протоколы для веб - сервисов – PLASTIC, SEA, … 2

Требования к организации архивного CD/DVD диска : 3 включает метку диска и каталоги с наблюдениями в каталоге хранятся данные одной ночи название каталога включает дату наблюдений наблюдение хранится в одном файле нет жестких ограничений на формат файла

Архивная система включает хранилище данных (SF) и информационно - поисковую систему (SIS) : 4 SF CD/DVD (I) CD/DVD (II) Primary copies of CD/DVD disks CD/DVD disks description CD/DVD disks logs Soft & Docs SIS storage area SIS

5 Типы архивных файлов (235578): Наблюдения – 91% Журналы наблюдений -- 1% Вспомогательные данные -- 8% АрхивCD/DVD дискиТемп прироста данных (MB) Объем (GB) Число записей Оптика (копия)150309~ Радио744~46000 Оптические и радио данные

6 Оптические наблюдательные данные ( файлов, 96% - FITS ):

САО РАН, Разделение наблюдательных данных по типу наблюдений: Прямые снимки 55% Эшелле-спектры 10% Длинная щель 17% Мультиобъектная спектроскопия 15% Фабри-Перо 12% Не определяются алгоритмом

Таблицы поисковой системы Таблицы, содержащие информацию для коррекции значений параметров файлов ( например : BTA, 6-m and so on) Таблицы и представления с параметрами файлов Таблица для связи параметров FITS- файлов и атрибутов поисковой системы

9 Схема таблиц поисковой системы

10

Деятельность International Alliance Virtual Observatory (IVOA) регистры модель астрономических данных семантика – Unified Content Descriptors (UCD) доступ к данным язык запросов к астрономическим данным программные сервисы для работы с данными в распределенной среде формат для обмена данными (VOTable) 11

RCDL-VIII, Суздаль, Сопровождение и хранение (1) [WG AD, IVOA IG CP] Определение процедур для сбора информации, необходимой для доступа и управления данными оценка – выбор того, что сохранять поступление – контролируемый импорт данных организация – как структурировать материал описание – метаданные для обеспечения подлинности версии, семантического описания и целостности хранение - создание архивной формы и помещение в хранилище доступ – обнаружение и манипуляции

RCDL-VIII, Суздаль, Сопровождение и хранение (2) Автоматизированная обработка, как в электронных библиотеках Извлечение метаданных Регистрирование метаданных и файлов Проверка семантики и синтаксиса Проверка целостности Упаковка данных и метаданных Шаблоны потока работ для контроля сопровождения и архивизации Независимость от инфраструктуры ( постоянные архивы ) Стандартные операции для взаимодействия с новой технологией

Спасибо за внимание ! 14 Работа поддержана грантом РФФИ