Б.В. Добров, Н.В. Лукашевич, М.Н. Синицын, В.Н. Шапкин Разработка лингвистической онтологии по естественным наукам для решения задач информационного поиска. - презентация

1 Б.В. Добров, Н.В. Лукашевич, М.Н. Синицын, В.Н. Шапкин Разработка лингвистической онтологии по естественным наукам для решения задач информационного поиска (лингвистические и информационные технологии) АНО Центр информационных исследований МГУ им. М.В.Ломоносова Научно-исследовательский вычислительный центр ГУ НИМЦ "Базис "

2 Поиск научно-технической информации обеспечение поиска, основанного на знаниях, использование синонимов, автоматическое расширение запроса, автоматический анализ результатов запроса помощь в интерактивном поиске

3 Традиционные средства тематического поиска - информационно-поисковые тезаурусы Основные понятия ПО – дескрипторы Условные синонимы – аскрипторы Отношения между дескрипторами: -- ВЫШЕ-НИЖЕ – транзитивно, несимметрично -- АССОЦИАЦИЯ – симметрично -- Три-четыре уровня иерархии

4 Традиционные ИП тезаурусы и автоматическая обработка текстов Процесс индексирования базируется на знаниях эксперта –Удобство для эксперта, относительно небольшая величина –Дескрипторы нужны для описания основной темы –Нехватка знаний о понятиях и языке предметной области Отношения –Проблема с автоматическим расширением запроса –Особенно отношение ассоциации

5 Семантический поиск в Интернет – Semantic Web: ОНТОЛОГИИ Онтология - это система, состоящая из набора понятий и набора утверждений об этих понятиях, на основе которых можно строить классы, объекты, отношения, функции и теории Основные компоненты: –Классы или понятия, примеры –Отношения, функции –Аксиомы / правила вывода

6 Виды онтологий по составу 1)Словарь с определениями 2)Простая таксономия 3)Тезаурус (таксономия с терминами) 4)Модель с произвольным набором отношений 5)Таксономия и произвольный набор отношений 6)Полностью аксиоматизированная теория (фундаментальная онтология)

7 Виды онтологий по применению Фундаментальные онтологии Прикладные онтологии (application ontologies) – легкие онтологии (lightweight ontologies) тахономии, ассоциативные тезаурусы Лингвистические онтологии – понятия онтологии связаны со значениями языковых выражений (слов, именных групп и т.п.)

8 Подходы к описанию отношений при разработке онтологий отношения – произвольный предикат, свойства задаются аксиомами P(x1,…xn) Для того, чтобы такая система отношений работала, нужно стабильно находить отношения в разнообразных текстах Но это проблема!

9 Формализация описания области научного знания Цель: обеспечение автоматических процедур тематической обработки и поиска текстов Традиционные информационно-поисковые тезаурусы – недостаточно Фундаментальные онтологии – невозможно

10 Отправная точка Информационно-поисковый тезаурус по общественно- политической тематике РуТез (Общественно-политический тезаурус) 32 тысячи понятий 79 тыс. русскоязычных текстовых входов 80 тыс. англоязычных текстовых входов Автоматическая обработка текстов Автоматическое концептуальное индексирование Автоматическая рубрикация Автоматическое аннотирование Общая лексика Специальная лексика Промежуточная зона Специальная лексика Общая лексика Специальная лексика авиа комп. безопасность

11 Общественно- политическая ПО Общественные науки Естественные науки Наука vs Общественно-политическая ПО Общественно- политическая ПО

12 Лингвистическая онтология по естественным наукам: сочетание трех традиций 1)разработки информационно-поисковых тезаурусов (описание терминов, многословные термины, простой набор отношений) 2)разработки лингвистических ресурсов типа WordNet (связь понятия со значением, многоступенчатое построение лексико-терминологической системы, описание многозначности терминов) 3)созданий формальных онтологий (иерархическая система понятий, отношения онтологической зависимости, свойства транзитивности и наследования)

13 Этапы разработки: набор коллекции текстов Для каждой науки (математика, физика, химия, биология, геология) – коллекции документов (от 3000 до 8000 документов, от 50 до 90 Мб) Источники коллекций - документы, доступные в Интернет: материалы школьных уроков; рефераты; университетские лекции; материалы специализированных сайтов

14 Этапы разработки: автоматическое извлечение терминов из текстов извлечение именных групп (2-3 слова) определенной синтаксической структуры (зависимое прилагательное и/или существительное в родительном падеже) извлечение именных групп произвольной структуры и длины на основе анализа частотных характеристик сопоставление с имеющимися ресурсами

15 Отбор терминологии Верхние части частотных списков по каждой из наук (10 тысяч слов, 15 тысяч словосочетаний) Просмотр экспертами Отбрасывание явных ошибок, общеязыковых выражений, составных конструкций, состоящих из терминов величина результирующего списка – 32 тысячи слов и словосочетаний Ручная разметка поддеревьев Пересечение отобранных терминов и Общественно-политического тезауруса Замыкание отношений – добавление вышестоящих по таксономии Использование знаний, описанных в Общественно-политическом тезаурусе

16 Эксперты Эксперты в ПО vs. Инженеры по знаниям дать определение описать таксономические отношения выделить общее для разных школ провести ФОРМАЛЬНЫЙ АНАЛИЗ Примеры: горная порода, руда, минеральное образование (бывает еще и на зубах), природное минеральное образование национальный парк, лесопарк, парк Эксперты-лингвисты – лингвистическая онтология – работа с текстами и значениями

17 Работа экспертов - 1 Источники –Загруженные списки («кандидаты»), надо либо перевести «кандидата» в основной список, либо удалить –Энциклопедии, словари, учебники –Интернет Операции (на основе материала источников) –Ввод нового понятия, –Описание его текстовых вариантов (макс. полно) –Таксономические отношения –Отношения зависимости понятий (на основе анализа определений, употребления в тексте

18 Работа экспертов - 2 1) Ввод нового понятия Список «кандидатов» Энциклопедии, книги 2) Поиск определения Энциклопедии, Интернет Анализ определения (анализ контекста употребления) проверка определения – разные определения, старые определения неполно выраженные, только в смысле текущего документа или в смысле подобласти Выделение связанных понятий 3) Проверки Употребляемость (Интернет, списки «кандидатов») Анализ лексической многозначности эвтектика (сплав vs. точка эвтектики) триасс (эпоха vs. пласт)

19

20 Покрытие предметной области понятийная структура терминология и лексика 2004, X тыс. 2005,VI тыс. 116,7132,7 74,0 106,888,2 --34,2 --12,0 9,744,5 2004, X тыс. 2005,VI тыс. 62,765,0 24,3 56,143,7 --14,4 --4,0 6,621,1 Всего из них из ОПТ «кандидаты» Науки (без «кандидат») из них из ОПТ Итого, вкл. «географию»

21 Уже можно использовать с существующим ПО

22 Обсуждаемые применения Мониторинг инновационно ориентированный мониторинг, установление связей между сервисами / продуктами и результатами научных исследований поддержка экспертизы заявок и отчетов научных проектов, исключение дублирования Техническое регулирование поддержка экспертизы технических регламентов определение объектов техрегулирования в тексте применимость того или иного технического регламента определение нарушения требований технических регламентов

23 Выводы Представлено состояние работ разработки лингвистической онтологии большого размера для автоматической обработки текстов научно-технической тематики Ресурс будет бесплатен для некоммерческого применения план покрытие тестирование приложения

24 Отношения онтологической зависимости. Формальная онтология. N.Guarino может ли сущность (С1) существовать сама по себе, или подразумевает существование чего-либо еще (С2): подразумевает ли существование сущности существование какой-либо конкретной сущности (строгая зависимость - rigid dependence) жидкость (С1) - кипение (С2), минерал – геологическое отложение, предполагается ли существование примеров некоторого класса (generic dependence – зависимость по классу) некоторых сущностей, землетрясение (С1) – шкала Рихтера (С2); вулкан – вулканология, газовое месторождение – газовая разведка. взаимозависимые понятия: катализ - катализатор