Автоматическая обработка ЕЯ (обработка текста) 2 курс. - презентация

1 Автоматическая обработка ЕЯ (обработка текста) 2 курс

2 План Примеры интеграции NLP в различные системы обработки контента Этапы лингвистической обработки Примеры лингвистических платформ

3 Примеры Яндекс OpenCalais News360.com Что еще???

4 Этапы Распознавание языка Графематический анализ Разбиение на предложения Токенизация Морфологический анализ Частичный синтаксический / синтаксический анализ Приписывание семантических ролей (semantic role labeling) Распознавание анафоры (установление кореференции) Дискурсивный анализ Распознавание именованных сущностей

5 Графематический анализ Лектор: канд. физ.-мат. наук Турдаков Денис Юрьевич. Технические вопросы: Бабаков Александр Валентинович. Спецкурс будет проходить по пятницам в в ауд. П- 6 во 2-м учебном корпусе МГУ. Аннотация Спецкурс предназначен для студентов 3-5 курсов, желающих получить знания и практические навыки в области обработки текстовой информации. Курс знакомит слушателей с основными проблемами компьютерной обработки текстов и современными подходами к их решению.

6 Графематический анализ АОТ Разделение входного текста на слова, разделители и т.д. Сборка слов, написанных в разрядку; Выделение устойчивых оборотов, не имеющих словоизменительных вариантов; Выделение ФИО (фамилия, имя, отчество), когда имя и отчество написаны инициалами; Выделение электронных адресов и имен файлов; Выделение предложений из входного текста; Выделение абзацев, заголовков, примечаний.

7 Морфологический анализ ruscorpora.ru aot.ru

8 Морфологический анализ Лемматизация Частеречная разметка Морфологический анализ Снятие омонимии

9 Синтаксический анализ testsynt.soiza.com Connexor VISL

10 Semantic role labeling aot.ru

11 Некоторые NLP ресурсы 3%D0%BB%D0%B0%D0%B2%D0%BD%D0%B0 %D1%8F_%D1%81%D1%82%D1%80%D0%B0 %D0%BD%D0%B8%D1%86%D0%B0 3%D0%BB%D0%B0%D0%B2%D0%BD%D0%B0 %D1%8F_%D1%81%D1%82%D1%80%D0%B0 %D0%BD%D0%B8%D1%86%D0%B nlp.stanford.edu/links/statnlp.html nlp.stanford.edu/links/statnlp.html