Анализ пропусков в метеорологических и гидрологических архивах по территории России. Нормализованные ЯОД-архивы. Главной задачей Госфонда, является сбор, учет и обеспечение долговременного хранения данных. Учитывая специфику данных, которая состоит в том, что ресурсы Фонда регулярно используются для решения различного рода задач, связанных с прогнозированием погодных условий, выполнением исследований по оценке изменений Климата и состояния природной среды, Госфонд должен обеспечивать качество и полноту используемой информации. Поэтому обеспечение максимальной полноты и качества собираемой информации, обеспечение ее сохранности, поиск и восстановление утерянной информации являются основной нашей целью.
С 1978 года в качестве стандарта в области гидрометеорологии для представления данных в Госфонд был принят язык описания данных (ЯОД). ЯОД является унифицированным средством структуры данных Госфонда для всех видов информации, обеспечивая стуктурное единство и иформационную совместимость выходных форматов. Специально разработанная В.М.Веселовым система СУД Аисори обеспечивает доступ к ЯОД-архивам и выполнение основных операций над ними включая выборку данных, их тестирование, реструктуризацию, статистические расчеты и т. п.
Организация нового поколения архивов – Нормализованных архивов выполнена с помощью технологии, реализованной на базе системы СУД Аисори. Исходные первичные гидрометеорологические архивы имеют квазисиноптический формат – каждый файл содержит данные по всем станциям управления Гидрометслужбы за один месяц. Нормализованная структура архива – получена в результате ряда операций, которые позволили перейти от квазисиноптической структуры архива к климатической, в которой каждый файл содержит данные по одной станции (с одним уникальным номером) за весь период наблюдений. При формировании номализованного архива были выполнены проверка структуры массива, слияние и сортировка информации, удаление дублей, общее тестирование данных. Для файлов Нормализованной структуры был выполнен дополнительный выходной контроль.
В 2003 году был проведен анализ пропусков в нормализованных метеорологических и гидрологических массивах первичной обработки. Основные причины пропусков в данных связаны: -с нарушениями технологической дисциплины при обработке и передаче данных в РВЦ (ТВЦ) и УГМС; -со сменой поколений ЭВМ, программных средств и технических носителей в УГМС; -со сбоями при перезаписи данных. По результатам анализа пропусков были получены справки о полноте информации. Получение справки о наличии данных выполнялось с помощью программного комплекса Аисори по автоматизированному Каталогу, в который включены все когда-либо функционировавшие станции и посты УГМС. Справка показывает наличие и отсутствие данных по годам и месяцам. Во все управления были высланы подробные справки-таблицы с наличием и отсутствием гидрометеорологической информации. Ниже приведен пример справок по метеорологии и гидрологии для Приморского УГМС.
Отсутствие данных по годам и месяцам - метеорология Коорд. номер станции Название станции Год Наличие/отсутствие данных по месяцам Комментарии ЯнвФевМарАпрМайИюнИюлАвг Се н ОктНояДек Агзу ПППП ППППППП ПППП Анучино ПППП ППППППП П ПППП 1987 П Арсеньев, АМСГ ПППП ППППППП ПППП 1987 П+++++НННННН Станция закрыта Артем П ПППП ППППППП ПППП 1987 П+++++НННННН Станция закрыта
Первичные гидрологические архивы - полнота данных по годам Номер г/поста Название постаТип Наличие данных по годам 198x199x200x р.Уссури(Улахэ) - мет.ст.Березняки(х.Березняки) Г. ПП.... ЕЕЕЕЕ М. ПП. Е.. ЕЕЕЕЕЕЕПП р.Уссури - с.Верхняя Бреевка Г. ПП.... ЕЕЕЕЕ.. ППППППП М. ПП. Е.. ЕЕЕЕЕЕЕППППППП 05108р.Уссури - г.Лесозаводск Г М. ПП. Е.. ЕЕ.. ЕЕЕППППППП 05110р.Уссури - Графское Г М. ПП. Е.. ЕЕ.. ЕЕЕППППППП 05112р.Уссури - Тарташевка Г М. ПП. Е.. ЕЕ.. ЕЕЕППППППП р.Тополевая(Цыцогоуза) - пос.Тополевый(Теплый) Г. ПП М. ПП
Аналогичные справки были направлены во все УГМС. УГМС провели работу по анализу справок и передали в ГУ «ВНИИГМИ-МЦД» заполненные таблицы. На основании откорректированных справок по метеорологии и гидрологии, полученных из УГМС, были составлены Таблицы с объемами пропусков для каждого УГМС. В рамках «Комплексной программы развития фонда данных Росгидромета на и последующие годы» ГУ «ВНИИГМИ- МЦД» совместно с УГМС проводит организацию работ в части проведения сплошного контроля метеорологических и гидрологических архивов и заполнению имеющихся пропусков. В ГУ «ВНИИГМИ-МЦД» разработан проект заключения (безденежного) Соглашения с УГМС по устранению пропусков и улучшению качества архивных файлов режимной гидрометеорологической информации, полученных средствами систем ПЕРСОНА, и уточнению каталога гидрометеорологических постов и станций.
Соглашения являются совместной работой по повышению качества массивов, переданных ранее на хранение в Госфонд (ГУ «ВНИИГМИ- МЦД»), включая заполнение имеющихся пропусков на электронных носителях в рядах наблюдений гидрометеорологических станций и постов по территории УГМС. По запросу УГМС ГУ «ВНИИГМИ-МЦД» обеспечивает подготовку и оформление Соглашения между ГУ «ВНИИГМИ- МЦД» и УГМС на выполнение работ по заполнению пропусков в рядах наблюдений. ГУ «ВНИИГМИ-МЦД» подготавливает передачу нормализованных данных по территории деятельности УГМС за период, указанный в Соглашении, и необходимого инструктивного материала в УГМС Дополнительно для гидрологических массивов выполняется преобразование данных из формата ЕС ЭВМ в исходный формат файлов системы ПЕРСОНА РЕКИ. Ниже представлена таблица, в которой отражены сведения об уже заключенных Соглашениях и результаты их выполнения.
Наименование УГМС Отправлено Прислано МетеорологияГидрология Колымскоеметео метео гидрол гидрол Доп. соглашение (1-12) гг. Уточненный каталог УГМС 33 Приволжскоеметео – гидрол – метео гидрол – (6)- доз.-50 ст/мес (1) - доз (1-12) - доз (6, 9) - доз (1-6, 12)- доз (1-6) - доз г., гг. (по вед. Заказу) гг. (по соглашению) Приморскоегидрол – метео Доп. соглашение гг (по соглашению) Уточненный каталог УГМС 26 Северноеметео – метео (1-12) г.(без соглашения) 1990 г.(без согл.) 1989 г.(без согл) УГМС ЦЧОметео – гидрол – гг. Якутскоеметео метео гидрол 1998, (11) – доз списки дозапись 2000 (4г/п) 2002 (7г/п) 2003 (1г/п)(без соглашения) Сведения о заключенных Соглашениях
Центральноеметео – , метео гидрол – (1-12) г (по согл) Сахалинскоеметео – – – 61г/п 1989 – 63 г/п 1990 – 65 г/п (без соглашения) Северо- Кавказское Дагестан метео – –1996 (8) - доз.1 ст/мес 1997 (2,10) – доз (7) – доз (10,11) – доз (1-12) – 2005 (1-12) – дозапись Мурманскоеметео – гидрол – Прислан список станций, которые восстановить нельзя - отсутствуют в архиве. Акт выполненных работ гг.( по соглашению). Уточненный каталог УГМС 02 Дальневосточноеметео – гидрол – Доп.согл. по гидрол. До г (1-12)1996 – 1999 гг. Присланы уточненные списки г/п УГМС 25 Повторно прислали – 1995,1996,1997гг., в связи с уточнением данных Западно- Сибирское метео – гидрол – (1-12) 1985 (5) – доз. – 1ст/мес списки отсутствия станций в архиве г/п, 2001 – 1 г/п, 2002 – 1 г/п, 2003 – 1 г/п 2004 – 2 г/п 2000 (рекасрок 197, рекасутки 171) по согл. Северо-Западное Республика Карелия метео – гидрол –
Уральскоеметео – гидрол – Средне-Сибирскоеметео2001(3)-8Присланы уточненные списки г/п УГМС 21 Верхнее-Волжское-Прислан КРТ 1986 (5-12)- 7 ст/мес 1988 (1) 1989 (11) 1990 (9) 1992 (4, 5) Прислан КРТ гг. – общий период. Прислан CD за гг. по Ярославскому ЦГМС УГМС Татарии1987 г. (без согл) Обь-Иртышское-1999 г.(по ведомств. Заказу)
Метеорология. Количество пропусков по Соглашениям УГМС Кол-во станций Кол-во пропусков по соглашениям гг. Заполнено по соглашениям Осталось записать по соглашениям гг. Дозапись Сплошной контроль Осталось записать Данных не будет Колымское ( ) Якутское+Тиксинское ( ) Западно-Сибирское Приморское66106 Северное+Амдерминское ( ) УГМС ЦЧО4972 Центральное УГМС Обь-Иртышское110согл. не было48 ВВ УГМС79согл. не было Дальневосточное ( ) Забайкальское92согл. не было Камчатское37согл. не было Чукотское29согл. не было2 Башкирское37согл. не было Иркутское93согл. не было4 Среднесибирское+Таймыр135+13согл. не было10 Уральское Калининградский ЦГМС9согл. не было6 Мурманское ( ) Приволжское Сахалинское ( ) Северо-Западное Северо-Кавказское+ Дагестан ( ) УГМС Татарстана21согл. не было Диксонский ЦГМС36243
Западно-Сибирское / Колымское / / /485 Обь-Иртышское151нет согл. 1998,1999 (вед.зак) УГМС ЦЧО / /6 Якутское+Тиксинское ,199956/315 Центральное /157 31/40 (03,04,05гг.) Приморское / /21 Дальневосточное / / / /485 79/ гг. 56/ гг. Сахалинское41нет согл Средне-Сибирское (вед.зак) Мурманское / /991 Приволжское /23014/ /44 Северо-Западное / Уральское /173 МС Кол- во пост ов Переданные данныеКол-во пропусков в переданных данных (пост/мес) Полученные данныеКол-во пропусков в полученных данных (пост/мес) Период ЕС ПерсонаПериод ЕСПерсона ЕС Персон а ЕСПерсона Гидрология Количество пропусков по Соглашениям
График соглашений полностью приславших пополненные массивы по гидрологии.
Заключение соглашения является добровольным дело управлений, но все управления самостоятельно ведут работы по заполнению пропусков. И не везде есть электронные версии первичных массивов с гг. При заключении соглашения ГУ «ВНИИГМИ-МЦД» предоставляет весь период гидрометеорологических архивов в нормализованном виде, доступном для работы с ПЕРСОНОЙ на CD-R. Поэтому заключение соглашения есть взаимовыгодное предложение со стороны ГУ «ВНИИГМИ-МЦД».