Справочник контрагентов (поставщиков и покупателей, дебиторов и кредиторов, плательщиков, бенефициаров, администраторов бюджетных поступлений и т.п.) ООО. - презентация

1 Справочник контрагентов (поставщиков и покупателей, дебиторов и кредиторов, плательщиков, бенефициаров, администраторов бюджетных поступлений и т.п.) ООО «Центр Стандартизации НСИ» , г. Москва, ул. 3-я Мытищинская, д. 3, стр (495) ,

2 Мониторинг качественного состояния справочников контрагентов с формированием стандартных отчетов и рекомендаций по их улучшению. Поиск и идентификация контрагентов по общекорпоративному справочнику и внешним источникам с учетом случайных ошибок и расхождений, вызванных разными обычаями написания наименований, адресов, банковских и других реквизитов. Нормализация и стандартизация описаний контрагентов в корпоративных справочниках; выверка и заполнение недостающих реквизитов; объединение дубликатов, вычистка некорректных и устаревших записей. Создание Сводного справочника контрагентов холдинга с таблицами переходных ключей к локальным справочникам филиалов и подразделений; настройка систем их ведения. Перечень задач (1)

3 Создание и ведение Сводного справочника дочерних обществ, филиалов и структурных подразделений компании с таблицами переходных ключей. Создание и ведение резервного классификатора государственных структур, коммерческих и некоммерческих предприятий и организаций, включая администраторов бюджетных платежей, территориальные структуры ФОИВ, филиальные сети крупнейших холдинговых структур и госкорпораций и т.д. Ведение (в т.ч. актуализация) фонда резервных баз данных контрагентов (более 4 млн. российских и 3 млн. иностранных предприятий). Создание и ведение Сводного справочника адресов и других вспомогательных справочников (аббревиатур, сокращений, транслитераций, весовых коэффициентов и т.п.), необходимых для выверки, восстановления и нормализации справочников контрагентов. Перечень задач (2)

4 Примеры выявленных двойников (1)

5 Примеры выявленных двойников (2)

6 Не заполнены обязательные поля (наименование, ИНН) Несоответствие ОГРН, ИНН и ОКПО контрольным числам ОГРН, ИНН, КПП и ОКПО содержат недопустимые символы Длина ОГРН 13 Длина ИНН 10 или 12 (в зависимости от типа) Длина КПП 9 Длина ОКПО 8 Расчетный счет 20 Не указан БИК Длина БИК 9 Корреспондентский счет 20 Не указано наименование банка Двойники по Наименованию Двойники по ИНН и КПП Двойники по ОКПО Двойники по ОГРН Двойники по расчетному счету Исходные данные. Проблемы

7 На одного контрагента – несколько разных кодов в справочниках разных дочерних обществ холдинга: Примеры проблем (1)

8 Подмена русских/латинских букв в названиях контрагентов: В приведенном примере наглядно видно, что встречаются ситуации, когда какие-то отдельные буквы в русскоязычном наименовании контрагента написаны в латинском регистре – эти буквы заглавные. И наоборот, включение кириллицы в англоязычное наименование контрагента представлено в виде строчных букв. Примеры проблем (2)

9 Примеры проблем (3)

10 Итоговый справочник. Структура

11 полноты (все требуемые к обязательному заполнению поля каждой записи должны быть заполнены и должны содержать значения, сформированные в соответствии со специальными требованиями и шаблонами); непротиворечивости (данные, относящиеся к одной и той же записи не должны противоречить друг другу); унификации (формат представления данных должен быть един для всех однотипных данных); идентифицируемости (каждый уникальный объект справочника имеет уникальный код, однозначно понимаемый системой ведения НСИ, всеми пользователями и всеми прикладными системами, использующими базу данных НСИ); отсутствия дублей; актуальности (на любой момент времени, с некоторой оговоренной задержкой, справочник содержит все требуемые записи с актуальным наполнением полей). Нормализованный справочник должен удовлетворять следующим критериям: Итоговый справочник. Требования

12 Выверкой или «нормализацией» называется процесс «вычистки» записей справочника контрагентов. В результате выверки устраняются ошибки, неполнота и некорректность данных, выявляются дубли и неактуальные, устаревшие объекты, уточняются ключевые атрибуты контрагентов и связанных таблиц и производится унификация наименований, адресов и других атрибутов контрагентов. Итоговый справочник. Нормализация

13 Пример унификации написания наименований физических лиц и реквизитов документов: Примеры нормализации (1)

14 Пример унификации написания адресов: Примеры нормализации (2)

15 Пример унификации написания наименований, содержащих в исходном варианте платежные реквизиты: Примеры нормализации (3)

16 1. Возможность загрузки корпоративных справочников контрагентов (локальных и единого) в базу проекта из промышленных СУБД Oracle, Ms SQL Server, DB-2 и др., файлов формата XLS, MDB, XML, TXT или DBF. 2. Возможность создания Единого справочника контрагентов (ЕСК) с таблицами переходных ключей к локальным справочникам контрагентов (ЛСК). 3. Возможность сверки локальных справочников с Единым справочником контрагентов (с последующим формированием соответствующего отчета по проведенной процедуре сверки). 4. Возможность подключения к ЕСК новых локальных справочников контрагентов (с возможностью предварительной нормализации подключаемого ЛСК). 5. Проведение стандартного набора тестов для оценки качественного состояния справочников контрагентов (локальных и единого): Система тестов для контроля правильности заполнения реквизитов; Проверка правильности написания наименований и адресов контрагентов (орфография, латиница и т.д.). 6. Формирование отчетов по состоянию справочника контрагентов в формате XLS. АРМ эксперта по созданию и ведению сводного справочника контрагентов. Функции (1)

17 7. Построение статистических диаграмм по состоянию справочника контрагентов. 8. Поиск и идентификация контрагентов по единому справочнику и внешним источникам (резервные базы данных и Интернет): Автоматический поиск по прямому совпадению реквизитов; Автоматизированный НОМ-поиск аналогов; LIKE-поиск аналогов; Ручной поиск аналогов. 9. Объединение дубликатов. 10. Выверка и заполнение недостающих реквизитов контрагентов с использованием фонда резервных баз данных контрагентов: Автоматизированный НОМ-поиск реквизитов в Интернет и резервных БД; LIKE-поиск реквизитов в резервных БД; Ручной поиск реквизитов в резервных БД; Выявление банковских реквизитов контрагента по резервным БД. 11. Проверка адресов контрагента по резервным БД и их нормализация с использованием объединенного классификатора кодов. АРМ эксперта по созданию и ведению сводного справочника контрагентов. Функции (2)

18 12. Выявление альтернативных наименований контрагента по резервным БД с заполнением справочника аббревиатур и транслитераций. 13. Проставление кодов записям контрагентов по классификатору контрагентов и другим кодификаторам. 14. Формирование досье контрагента. 15. Ведение и актуализация фонда резервных баз данных контрагентов. 16. Ведение вспомогательных справочников (аббревиатур, сокращений, транслитераций, весовых коэффициентов и т.п.). 17. Работа со справочниками: просмотр; поиск; печать; редактирование. АРМ эксперта по созданию и ведению сводного справочника контрагентов. Функции (3)

19 Загрузка справочника: АРМ эксперта по созданию и ведению сводного справочника контрагентов. Формы (1)

20 Мониторинг качественного состояния справочника: АРМ эксперта по созданию и ведению сводного справочника контрагентов. Формы (2)

21 Проверка на латиницу: АРМ эксперта по созданию и ведению сводного справочника контрагентов. Формы (3)

22 Автоматическое формирование XLS-отчета по качеству данных: АРМ эксперта по созданию и ведению сводного справочника контрагентов. Формы (4)

23 Нормализация адресов: АРМ эксперта по созданию и ведению сводного справочника контрагентов. Формы (5)

24 Проверка и восстановление реквизитов. Поиск в резервных БД по прямому совпадению реквизитов: АРМ эксперта по созданию и ведению сводного справочника контрагентов. Формы (6)

25 Проверка и восстановление реквизитов. Поиск в резервных БД по прямому совпадению реквизитов: АРМ эксперта по созданию и ведению сводного справочника контрагентов. Формы (7)

26 Обработка результатов НОМ-поиска: АРМ эксперта по созданию и ведению сводного справочника контрагентов. Формы (8)

27 Проверка групп двойников: группа двойников (в группе все ИНН совпадают) информация по группе двойников в ЕСК (карточка контрагента) АРМ эксперта по созданию и ведению сводного справочника контрагентов. Формы (9)

28 Оценка заполняемости реквизитов справочника : АРМ эксперта по созданию и ведению сводного справочника контрагентов. Формы (10)

29 Программный комплекс Информационные ресурсы Методология Опыт и квалификация Ресурсы

30 Разработчик: ООО «Центр Стандартизации НСИ» Свидетельство о регистрации: Период разработки: с 1995 года по настоящее время Программный комплекс « БРЭДФОРД » Программный комплекс

31 Программный комплекс «Брэдфорд». Состав BRADFORD: ETL – СЕРВЕР BRADFORD: ПОИСКОВАЯ СИСТЕМА BRADFORD: ДАТА – МОНИТОР BRADFORD: ГЕНЕРАТОРЫ ОТЧЕТОВ BRADFORD: ИНТЕРНЕТ – МОНИТОР

32 Специализированная Поисковая система по структурированным массивам данных НСИ Специализированная Поисковая система по структурированным массивам данных НСИ Программный комплекс «Брэдфорд». Интеллектуальное ядро ПКБ

33 Оперативность В корпоративной НСИ изменения в справочник (новая запись, удаление, редактирование) могут вноситься разными людьми почти одновременно. И поиск должен происходить с учетом самых постедних изменений! Варианты с индексацией здесь уже отпадают - создание гигабайтных индексов занимает многие часы работы мощных серверов. У нас требуется только перезагрузка массива в память. При регламенте реагирования более чем на 1-3-минутные изменения пользователь при работе с Поисковой системой ПК «Брэдфорд» не заметит задержки времени. В более жестких условиях проблема решается за счет увеличения вычислительных можностей и распараллеливания выполнения запросов на разных серверах. Автоматизм Для нашей задачи ведения НСИ в корпоративной среде необходимо, чтобы поисковая система была автоматической! Т.Е. нельзя полагаться на то, что запросы будет делать обученный эксперт, грамотно формирующий ключевые слова поиска. У нас идет потоковая разборка новых записей "как есть"! Т.е., идет обработка по полному наименованию МТР плюс полным наименованиям других полей. Работа по обучению поисковой системы самостоятельно выбирать ключевые слова вынесена на предварительный этап формирования вспомогательных справочников. Качество В нашей поисковой системе не только можно управлять качеством поиска, создавая и поддерживая вспомогательные справочники, но и варьировать множеством факторов, влияющих на расчет коэффициента релевантности (в последней версии эксперт может перепроверить систему - тут же узнать почему у данного аналога именно такой коэффициент релевантности, какие факторы на него повлияли) Специализированность У нас большое значение придается предподготовке обоих массивов для поиска и для этого понаделано множество дополнительных программных компонентов: выверка латиницы, сокращений и аббревиатур, синонимов, стилей и порядка написания, проверка по маске (новая опция - для проверки ИНН, паспортов и др. больших чисел) Программный комплекс «Брэдфорд». Особенности поисковой системы

34 Информационные ресурсы (1)

35 Информационные ресурсы (2)

36 Информационные ресурсы. Основные регистрационные свидетельства ЦНСИ (1)

37 Информационные ресурсы. Основные регистрационные свидетельства ЦНСИ (2)

38 Типовая «Методика выполнения работ по выверке и объединению справочников контрагентов» Типовой «Регламент ведения сводного справочника контрагентов и таблиц переходных ключей» Общая документация по обеспечению качества основных данных, включая соответствующий стандарт ISO 8000 Методология

39 ОАО « Магнитогорский металлургический комбинат » ОАО « Западно-Сибирский металлургический комбинат » ОАО « Северсталь-групп » 10 АЭС Концерна « Росэнергоатом » ОАО « Мосэнерго » ОАО « ГМК « Норильский никель » ОАО « АК « Транснефть » Министерство экономического развития РФ ФГУ « Федеральный центр каталогизации » Ростехрегулирование Опыт