Компьютерный анализ естественно-языкового текста Кафедра информационных систем в искусстве и гуманитарных науках. - презентация

1 Компьютерный анализ естественно-языкового текста Кафедра информационных систем в искусстве и гуманитарных науках

2 Компьютерный анализ естественно-языкового текста СТРУКТУРА КУРСА 1.Введение в дисциплину 2.Автоматический анализ текста на морфологическом уровне 3.Автоматический анализ текста на синтаксическом уровне 4.Семантический компонент в системах автоматического анализа текста

3 Компьютерный анализ естественно-языкового текста СТРУКТУРА КУРСА 2. Автоматический анализ текста на морфологическом уровне 1.Морфологически й уровень в ЛИТ 2.Основные понятия морфологии в компьютерной морфологии 3.Основные процедуры компьютерной морфологии 4.Компьютерная морфология русского языка 5.Технологии морфологического анализа 6.«Предсказание» (типизация) 7.Вопросы, смежные с синтаксисом

4 MorphWizard программа для создания и редактирования словаря (лексико-морфологической базы данных), совместимого с программным пакетом Dialing для обработки естественно- языкового текста (разработка группы АОТ) загружается со страницы (ссылка MorphWizard.zip) для ознакомления с функциональностью требуется словарь RusMorph.zip, загружаемый с той же страницы

5 MorphWizard: ОТКРЫТИЕ ФАЙЛА ПРОЕКТА СЛОВАРЯ

6 MorphWizard: ВХОД В КАЧЕСТВЕ ПОЛЬЗОВАТЕЛЯ

7 MorphWizard: ЗАГРУЗКА И СОЗДАНИЕ ИНДЕКСА

8 MorphWizard: НАЧАЛЬНОЕ СОСТОЯНИЕ ОКНА ПРОГРАММЫ

9 MorphWizard: ВВОД СЛОВА ДЛЯ ПОИСКА

10 MorphWizard: ПРОСМОТР РЕЗУЛЬТАТА ПОИСКА (1) или

11 MorphWizard: ПРОСМОТР РЕЗУЛЬТАТА ПОИСКА (2)

12 MorphWizard: РЕДАКТИРОВАНИЕ ФОРМ СЛОВА

13 MorphWizard: ВВОД НОВОГО СЛОВА

14 MorphWizard: ПОДБОР БЛИЖАЙШЕГО СООТВЕТСТВИЯ (ПРЕДСКАЗАНИЕ)

15 MorphWizard: РЕДАКТИРОВАНИЕ БЛИЖАЙШЕГО СООТВЕТСТВИЯ

16 MorphWizard: НОВОЕ СЛОВО ВВЕДЕНО

17 ДИФФ. ПРИЗНАКИ КЛАССИФИКАЦИИ ТЕХНОЛОГИЙ МОРФ. АНАЛИЗА Направление анализа: слева направо vs справа налево vs комбинированный Используется только конкатенация («морфотактика (квази)алломорфов») vs моделируются альтернационные преобразования (например, как в двухуровневой морфологии) Число порядков (рангов, дуг в конечном автомате): от 1 до ((число букв в словоформе) -1) Недетерминированность (перебор вариантов) vs детерминированность за счет подготовки данных

18 ОСНОВНЫЕ СПОСОБЫ ПРЕДСТАВЛЕНИЯ МОРФОЛОГИЧЕСКИХ ДАННЫХ (0)

19 ОСНОВНЫЕ СПОСОБЫ ПРЕДСТАВЛЕНИЯ МОРФОЛОГИЧЕСКИХ ДАННЫХ (1) узелЛО(узел) + (N ИЛИ A)+ sg узлаЛО(узел) + G + sg Словарь словоформ

20 ОСНОВНЫЕ СПОСОБЫ ПРЕДСТАВЛЕНИЯ МОРФОЛОГИЧЕСКИХ ДАННЫХ (2) 0:узЛО(узел)1 1:ел(N ИЛИ A)+ sg лаG + sg Квазиагглютинативное представление (модель морфотактики неизменяемых псевдоморфов)

21 ОСНОВНЫЕ СПОСОБЫ ПРЕДСТАВЛЕНИЯ МОРФОЛОГИЧЕСКИХ ДАННЫХ (3) 0:узЬлЛО(узел)1 1:#1:#(N ИЛИ A)+ sg лаG + sg Морфонологическая модель (моделирование чередований) включает дизъюнктивно упорядоченные правила Ь Ø / ___ V Ь е

22 ОСНОВНЫЕ СПОСОБЫ ПРЕДСТАВЛЕНИЯ МОРФОЛОГИЧЕСКИХ ДАННЫХ (4) 0:уз(е ИЛИ Ø)л ЛО(узел) ) + схема выбора основ 1 1:#1:#(N ИЛИ A)+ sg аG + sg Гибридная модель (квазиагглютинация + моделирование чередований) включает схемы выбора основ (N ИЛИ A) + sg

23 ОСНОВНЫЕ СПОСОБЫ ПРЕДСТАВЛЕНИЯ МОРФОЛОГИЧЕСКИХ ДАННЫХ (5) 0:узелЛО(узел)1 узлЛО(узел)2 1:#1:#(N ИЛИ A)+ sg 2:аG + sg Квазиагглютинативное представление с множественными основами

24 ОСНОВНЫЕ СПОСОБЫ ПРЕДСТАВЛЕНИЯ МОРФОЛОГИЧЕСКИХ ДАННЫХ (6) n-арное дерево букв (преобразуется в конечный автомат)