LINGUISTIC TOOLS ЛИНГВИСТИЧЕСКИЕ ИНСТРУМЕНТЫ Лекция 1. - презентация

1 LINGUISTIC TOOLS ЛИНГВИСТИЧЕСКИЕ ИНСТРУМЕНТЫ Лекция 1

2 Тематика курса 1. Идеи и история компьютерной лингвистики 2. Поисковые системы и поисковые языки 3. Shoebox 4. Лексикографические инструменты

3 Тематика текущей лекции О предмете О предмете Об истории Об истории О локальном (конкретное решение конкретной задачи О локальном (конкретное решение конкретной задачи

4 Прикладная лингвистика: applied linguistics applied linguistics computational linguistics computational linguistics = Автоматическая обработка естественного языка/языковых данных; Natural Language Processing (NLP) = Автоматическая обработка естественного языка/языковых данных; Natural Language Processing (NLP) Искусственный интеллект Искусственный интеллект

5 Что такое искусственный интеллект? Искусственный интеллект (ИИ) это область информатики, которая занимается разработкой интеллектуальных компьютерных систем, т.е. систем, обладающих возможностями, которые мы традиционно связываем с человеческим разумом, понимание языка, обучение, способность рассуждать, решать проблемы и т.д.

6 Может ли компьютер думать? Тест Тьюринга (Алан Тьюринг 1950) Тест Тьюринга (Алан Тьюринг 1950) Китайская комната Серля (Джон Серль 1980) Китайская комната Серля (Джон Серль 1980)

7 Первые опыты SHRDLU SHRDLU программа, разработанная Терри Виноградом в г. в MIT: моделирует понимание компьютером ЕЯ в узкой области. Название происходит из сочетания самых частотных букв английского языка - ETAOIN SHRDLU Eliza Eliza Виртуальный собеседник, созданный Джозефом Вейзенбаумом в 1966 г., пародирует понимание компьютером ЕЯ

8 SHRDLU Человек: Возьми большой красный блок. Компьютер: OК.

9

10 SHRDLU Человек: Что находится в коробке? Компьютер: СИНЯЯ ПИРАМИДА И СИНИЙ БЛОК. Человек: Что служит опорой для (этой) пирамиды? Компьютер: КОРОБКА.

11 SHRDLU Человек: Есть ли за пирамидой какой-нибудь большой блок? Компьютер: ДА, ТАКИХ ТРИ: БОЛЬШОЙ КРАСНЫЙ, БОЛЬШОЙ ЗЕЛЕНЫЙ КУБ И СИНИЙ БЛОК.

12 Человек: Помести малый (блок) на зеленый куб, на котором находится пирамида. Компьютер: ОК. Человек: Поставь самую маленькую пирамиду на него Компьютер: ОК. Человек: Служит ли самая короткая вещь, которая опирается на опору самой высокой пирамиды, опорой для чего-то еще? Компьютер: ДА, ДЛЯ ЗЕЛЕНОЙ ПИРАМИДЫ.

13 Eliza и аналоги Классическая Eliza: Классическая Eliza: Русский вариант: Киса - Русский вариант: Киса -

14 «Понимающий» компьютер должен осуществлять обработку всех уровней языка Фонетика Фонетика Морфология Морфология Синтаксис Синтаксис Прагматика Прагматика Дискурс Дискурс Решается только одна проблема: НЕОДНОЗНАЧНОСТЬ

15 Ключевые идеи современного NLP Формализация структуры правил Алгоритмы перехода Вероятность как способ разрешения амбивалентности