Извлечение ключевых объектов веб-страниц Михаил Обухов, Дмитрий Вихарев. - презентация

1 Извлечение ключевых объектов веб-страниц Михаил Обухов, Дмитрий Вихарев

2 Что улучшаем? Ответы на запросы

3 Смотреть онлайн без СМС Разбираем запрос смотреть Доктор Хаус онлайн без СМС Доктор Хаус Объект Контекст

4 Что такое объекты? Названия – Организаций – Фильмов – Программ – Песен – Музыкальных групп – … Имена людей и т.д. (именованные сущности) Пираты карибского моря Mail.RU Москва Форрест Гамп Джонни Депп

5 Что такое контексты? Остальная часть запроса Примеры: Купить Смотреть онлайн бесплатно биография Рецепт

6 Что у нас есть ЗапросыСтраницы JSD: Jensen-Shanon Divergence

7 Извлечение объектов из запросов КонтекстыСтраницыОбъекты Запросы

8 Структура сайта

9 Шаблоны ФИЛЬМ Описание: … ФИЛЬМ- фильмы В ролях : … Комментарии:

10 Извлечение структуры сайта Объекты Страницы Фильм Трейлер … Фото Постер Обои … Контексты

11 Промежуточный результат Объект В ролях : … смотреть онлайн без СМС в хорошем качестве … смотреть онлайн без СМС в хорошем качестве … биография фото фильмы … биография фото фильмы … кадры из моменты обои … кадры из моменты обои …

12 смотреть Доктор Хаус онлайн без СМС Контекст (что хочет пользователь): 1.смотреть * онлайн 2.смотреть * без регистрации 3.* онлайн в хорошем качестве 4.… Контекст (что хочет пользователь): 1.смотреть * онлайн 2.смотреть * без регистрации 3.* онлайн в хорошем качестве 4.… URLы (где лежит): 1.kino.ru/film/178710/ 2.kino.ru/film/474/ 3.kino.ru/film/301/ 4.… URLы (где лежит): 1.kino.ru/film/178710/ 2.kino.ru/film/474/ 3.kino.ru/film/301/ 4.… Объекты (кинофильмы): 1.Доктор Хаус 2.Гладиатор 3.Матрица 4.… Объекты (кинофильмы): 1.Доктор Хаус 2.Гладиатор 3.Матрица 4.…

13 Контекст 50 пар [Объект – URL] Подготовка «выдергивателей» Подготовка «выдергивателей» Интересные сайты «Выдергиватели» Интересные сайты «Выдергиватели» Интересные сайты «Выдергиватели» Интересные сайты и «Выдергиватели» (для них) База (будущий индекс) Контекст 50 пар [Объект – URL] Контекст 50 пар [Объект – URL] Объект + URL «Гладиатор» Эталонные объекты

14 Матрица Описание: снятый братьями Вачовски … Матрица … широко применяются в математике для компактной записи СЛАУ… Матрица - фильмы В ролях : … Комментарии: … … Матрица …

15 Матрица Описание: снятый братьями Вачовски … Матрица … широко применяются в математике для компактной записи СЛАУ… Матрица - фильмы В ролях : … Комментарии: … … Матрица … … Матрца … … Матрица … Фильм Матрица The Matrix … * … «Выдёргиватель»

16 Матрица Описание: … Матрица … Матрица - фильмы В ролях : … Комментарии: … Матрица … Гладиатор Описание: Гладиатор.. Гладиатор- фильмы В ролях : … Комментарии: … Гладиатор … Терминатор Описание: … Терминатор - фильмы В ролях : … Комментарии: … Терминатор … … * … «Выдёргиватели» Наиболее часто встречающиеся: Наибольшие общие подстроки Для: *

17 Матрица Описание: … Матрица … Матрица - фильмы В ролях : … Комментарии: … Матрица … Гладиатор Описание: Гладиатор.. Гладиатор- фильмы В ролях : … Комментарии: … Гладиатор … Терминатор Описание: … Терминатор - фильмы В ролях : … Комментарии: … Терминатор … ФИЛЬМ Описание: … ФИЛЬМ- фильмы В ролях : … Комментарии: *

18 Матрица Описание: … Матрица … Матрица - фильмы В ролях : … Комментарии: … Матрица … Кеану Ривз Описание: Кеану Ривз. Кеану Ривз - актеры В ролях : … Комментарии: … Кеану Ривз … Терминатор Описание: … Терминатор - кадры В ролях : … Комментарии: … Терминатор … Фильмы:Актеры:Кадры из фильма:

19 Матрица Описание: … Матрица … Матрица - фильмы В ролях : … Комментарии: … Матрица … Матрица Матрица смотреть … Матрица В ролях : … Матрица Эталонные объекты

20 Контекст 50 пар [Объект – URL] Контекст 50 пар [Объект – URL] Матрица Комментарии: Матрица Подготовка « выдергивателей » Подготовка « выдергивателей »

21 смотреть Доктор Хаус онлайн без СМС Контекст (что хочет пользователь): смотреть * онлайн Контекст (что хочет пользователь): смотреть * онлайн Объект (кинофильм): Доктор Хаус Объект (кинофильм): Доктор Хаус Доктор Хаус смотреть … Доктор Хаус sezon.html/ URL

22 Результаты: Раздел / Кол-во страницKinopoiskAfishaFilms.imhonet Описание фильмов/сериалов230k80k - Описание фильмов45k40k - Описание сериалов35k40k - Сезонов сериалов12k - Эпизодов сериалов250k Знаменитости480k112k80k Точность: 99.9%

23 СПАСИБО! ВОПРОСЫ? Михаил Обухов Дмитрий Вихарев