Компьютерный анализ естественно-языкового текста Кафедра информационных систем в искусстве и гуманитарных науках. - презентация

1 Компьютерный анализ естественно-языкового текста Кафедра информационных систем в искусстве и гуманитарных науках

2 Компьютерный анализ естественно-языкового текста СТРУКТУРА КУРСА 1.Введение в дисциплину 2.Автоматический анализ текста на морфологическом уровне 3.Автоматический анализ текста на синтаксическом уровне 4.Семантический компонент в системах автоматического анализа текста

3 Компьютерный анализ естественно-языкового текста СТРУКТУРА КУРСА 1.Введение в дисциплину 2.Автоматический анализ текста на морфологическом уровне 3.Автоматический анализ текста на синтаксическом уровне 4.Семантический компонент в системах автоматического анализа текста

4 Компьютерный анализ естественно-языкового текста ВВЕДЕНИЕ В ДИСЦИПЛИНУ Лингвистические информационные технологии: актуальные задачи Лингвистическая составляющая ЛИТ (прикладная лингвистика, компьютерная лингвистика, языковая инженерия) Функциональность ЛИТ и уровни обработки естественно-языкового текста

5 ЛИНГВИСТИЧЕСКИЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ Распознавание звучащей речи Поддержка ввода текста на электронные носители (распознавание печатного и рукописного текста, автозавершение, коррекция на лексико- морфологическом и синтаксическом уровне) Синтез речи по тексту Информационный поиск (лингвистически нетривиальные функции); рубрикация/индексация текстов Машинный перевод Извлечение фактов и знаний Диалог с компьютерными системами на естественном языке Компрессия текста (аннотирование, реферирование)

6 ЛИНГВИСТИЧЕСКИЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ Составляющие по областям знания Техническая составляющая Математическая составляющая Лингвистическая составляющая

7 ЛИНГВИСТИЧЕСКАЯ СОСТАВЛЯЮЩАЯ ЛИТ компьютерная лингвистика это наука о том, в каком виде представлен естественный язык в компьютерных системах, решающих утилитарные задачи Содержательно близкое понятие: инженерная лингвистика (по В.Ш.Рубашкину)

8 ИНЖЕНЕРНАЯ ЛИНГВИСТИКА, иные трактовки термина 1.Linguistic Engineering – отрасль теоретических и прикладных знаний, позволяющих создавать компьютерные системы с лингвистическими компонентами; синоним – Natural Language Engineering, впоследствии – Human Language Technology 2.отрасль знаний, разрабатываемая школой под руководством Р.Г.Пиотровского (группа «Статистика речи»)

9 ФУНКЦИОНАЛЬНОСТЬ ЛИТ: ВХОДЫ И ВЫХОДЫ Входы Звучащая речь в электронном представлении Письменный текст как последовательность символов: –Без ограничений (любой текст) –Набор ключевых слов для поиска –Тексты как источник информации –Команды информационным системам и роботам Изображения письменного текста

10 ФУНКЦИОНАЛЬНОСТЬ ЛИТ: ВХОДЫ И ВЫХОДЫ Выходы Письменный текст: –Результат коррекции входного текста –Перекодированный из другой языковой системы –Результат компрессии входного текста –Изложение фактов и элементов знаний (соотв. исходному запросу) Звучащая речь –Озвученный входной текст –Озвученные результаты перекодирования, компрессии, выполнения информационных запросов Ссылки на электронные документы Действия роботов

11 ФУНКЦИОНАЛЬНОСТЬ ЛИТ: ВХОДЫ И ВЫХОДЫ Пути преобразования входов в выходы цифровая запись на ест. или иск. языке звучащая речь изображения письм. текста действия роботов- манипуляторов распознавание синтез выполнение команд коррекция переводкомпрессия инф. запросы

12 ФУНКЦИОНАЛЬНОСТЬ ЛИТ: операции с текстом в цифровом представлении Учет правил построения: слова из букв высказывания из слов текста из высказываний Типовые операции: Форм.Содерж.Форм.Содерж.Форм.Содерж. Коррекция+–+±–– Перевод++++(±)(±)(±)(±) Компрессия+(±)(±)(±)(±)(±)(±)±(±)(±) Информ. запрос +±±±––

13 ФУНКЦИОНАЛЬНОСТЬ ЛИТ: операции с текстом в цифровом представлении Уровень языка: Лексико- морфологи- ческий СинтаксическийТекстовой Типовые операции: Форм.Содерж.Форм.Содерж.Форм.Содерж. Коррекция+–+±–– Перевод++++(±)(±)(±)(±) Компрессия+(±)(±)(±)(±)(±)(±)±(±)(±) Информ. запрос +±±±––

14 Рекомендуемая литература Леонтьева Н.Н. Автоматическое понимание текстов: системы, модели, ресурсы. М., 2006.

15