Опыт обработки данных переписи Опыт и технология автоматизированной обработки материалов ВПН-2002, ВСХП-2006 и ВПН-2010 О.В. Манжула Начальник отдела технологического обеспечения автоматизированной обработки материалов переписей и сплошных обследований Росстат

Опыт обработки данных переписи Масштабы: ВПН-2002ВСХП-2006ВПН-2010 Объекты переписи 145 млн человек 26 млн производителей сельхозпродукции 142 млн человек Кол-во бланков 220 млн225 млн222 млн Федеральный уровень (ФУ) +++ Региональный уровень (РУ) +++ Районный уровень (РайУ) --+

Опыт обработки данных переписи Технология обработки:

Опыт обработки данных переписи Автоматизация подготовки переписи населения на Районном уровне (РайУ) Составление списков домов в населенных пунктах Составление организационных планов на уровне района Расчет потребности каждой категории временных переписных работников Интеграция с региональным и федеральным уровнями Подсистема РайУ является инновационной для технологии в целом и во многом определит вектор развития АС переписей на будущее

Опыт обработки данных переписи

Технологический цикл РУ Сканирование и верификация бланков Минимальный контроль комплектности Кодирование и контроль введенных значений Контроль комплектности и формально- логический контроль Выгрузка пачки на DVD диск Сканирование Верификация Минимальный КК Кодирование значений Контроль введен- ных значений Контроль комплектности ФЛК Выгрузка на DVD

Опыт обработки данных переписи Состав АС ВПН-2010 регионального уровня

Опыт обработки данных переписи Ключевые преимущества технологии РУ: 1. СКОРОСТЬ Сканеры ДС300: техническая скорость ввода до 150 двусторонних бланков в минуту Эффективная скорость ввода (включая распознавание, верификацию, контроль на месте ввода) до 80% технической скорости Несколько станций ввода с одним сканером за счет использования сетевого интерфейса ДС300 Специально разработанный механизм распознавания «на лету»

Опыт обработки данных переписи Контроль комплектности на месте ввода Многоэтапный контроль качества информации на специализированных АРМ Значительное количество правил проверки информации на корректность и непротиворечивость (более 300 правил для ВПН и более 1400 правил для ВСХП, при этом правила ВПН в среднем сложнее, чем ВСХП) Контроль потоков информации при помощи специальных методик контрольных соотношений, начиная с ручного подсчета контрольных чисел и до формирования базы данных Ключевые преимущества технологии РУ: 2. КАЧЕСТВО

Опыт обработки данных переписи Федеральный уровень (ФУ) Автоматизированная загрузка данных с DVD Построение ведомостей контрольных чисел Загрузка данных в базу данных Проведение автокоррекции, распространения, импутации данных Построение запросов к базе данных форм для выверки на основе пользовательского интерфейса Загрузка данных в базу данных показателей Построение фиксированных таблиц итогов Конструирование пользовательских (произвольных) таблиц

Опыт обработки данных переписи Технологический цикл ФУ Если выявлены расхождения Если расхождений нет

Опыт обработки данных переписи Технологии ФУ (на примере ВСХП-2006): Хранилище данных – Microsoft SQL Server 2005 Enterprise Edition. Сервер аналитики – Microsoft SQL Server 2005 Analysis Services. Обсчет аналитической базы с глубиной до населенного пункта РФ – не более 6 часов. При этом объем базы данных показателей (исходная для аналитической) около 450 гигабайт при количестве записей более 1 миллиарда. В кубе (аналитический базе) – 70 основных и 300 расчетных показателей, 140 измерений (разрезов), более 300 тысяч элементов измерений.

Опыт обработки данных переписи Возможности системы на ФУ (на примере ВСХП-2006): Более 150 основных таблиц (минимальная 10*6, максимальная 100*100 строк/колонок) Территориальные разрезы любой глубины Более 1000 вспомогательных таблиц Возможность при помощи специального ПО- конструктора строить широкий спектр пользовательских таблиц Высокая скорость генерации таблиц с данными в формате MS Excel Разработчик АС ВПН и АС ВСХП – ЗАО «КРОК Инкорпорейтед» г. Москва

Опыт обработки данных переписи Спасибо за внимание