Извлечение ключевых объектов веб-страниц Михаил Обухов, Дмитрий Вихарев
Что улучшаем? Ответы на запросы
Смотреть онлайн без СМС Разбираем запрос смотреть Доктор Хаус онлайн без СМС Доктор Хаус Объект Контекст
Что такое объекты? Названия – Организаций – Фильмов – Программ – Песен – Музыкальных групп – … Имена людей и т.д. (именованные сущности) Пираты карибского моря Mail.RU Москва Форрест Гамп Джонни Депп
Что такое контексты? Остальная часть запроса Примеры: Купить Смотреть онлайн бесплатно биография Рецепт
Что у нас есть ЗапросыСтраницы JSD: Jensen-Shanon Divergence
Извлечение объектов из запросов КонтекстыСтраницыОбъекты Запросы
Структура сайта
Шаблоны ФИЛЬМ Описание: … ФИЛЬМ- фильмы В ролях : … Комментарии:
Извлечение структуры сайта Объекты Страницы Фильм Трейлер … Фото Постер Обои … Контексты
Промежуточный результат Объект В ролях : … смотреть онлайн без СМС в хорошем качестве … смотреть онлайн без СМС в хорошем качестве … биография фото фильмы … биография фото фильмы … кадры из моменты обои … кадры из моменты обои …
смотреть Доктор Хаус онлайн без СМС Контекст (что хочет пользователь): 1.смотреть * онлайн 2.смотреть * без регистрации 3.* онлайн в хорошем качестве 4.… Контекст (что хочет пользователь): 1.смотреть * онлайн 2.смотреть * без регистрации 3.* онлайн в хорошем качестве 4.… URLы (где лежит): 1.kino.ru/film/178710/ 2.kino.ru/film/474/ 3.kino.ru/film/301/ 4.… URLы (где лежит): 1.kino.ru/film/178710/ 2.kino.ru/film/474/ 3.kino.ru/film/301/ 4.… Объекты (кинофильмы): 1.Доктор Хаус 2.Гладиатор 3.Матрица 4.… Объекты (кинофильмы): 1.Доктор Хаус 2.Гладиатор 3.Матрица 4.…
Контекст 50 пар [Объект – URL] Подготовка «выдергивателей» Подготовка «выдергивателей» Интересные сайты «Выдергиватели» Интересные сайты «Выдергиватели» Интересные сайты «Выдергиватели» Интересные сайты и «Выдергиватели» (для них) База (будущий индекс) Контекст 50 пар [Объект – URL] Контекст 50 пар [Объект – URL] Объект + URL «Гладиатор» Эталонные объекты
Матрица Описание: снятый братьями Вачовски … Матрица … широко применяются в математике для компактной записи СЛАУ… Матрица - фильмы В ролях : … Комментарии: … … Матрица …
Матрица Описание: снятый братьями Вачовски … Матрица … широко применяются в математике для компактной записи СЛАУ… Матрица - фильмы В ролях : … Комментарии: … … Матрица … … Матрца … … Матрица … Фильм Матрица The Matrix … * … «Выдёргиватель»
Матрица Описание: … Матрица … Матрица - фильмы В ролях : … Комментарии: … Матрица … Гладиатор Описание: Гладиатор.. Гладиатор- фильмы В ролях : … Комментарии: … Гладиатор … Терминатор Описание: … Терминатор - фильмы В ролях : … Комментарии: … Терминатор … … * … «Выдёргиватели» Наиболее часто встречающиеся: Наибольшие общие подстроки Для: *
Матрица Описание: … Матрица … Матрица - фильмы В ролях : … Комментарии: … Матрица … Гладиатор Описание: Гладиатор.. Гладиатор- фильмы В ролях : … Комментарии: … Гладиатор … Терминатор Описание: … Терминатор - фильмы В ролях : … Комментарии: … Терминатор … ФИЛЬМ Описание: … ФИЛЬМ- фильмы В ролях : … Комментарии: *
Матрица Описание: … Матрица … Матрица - фильмы В ролях : … Комментарии: … Матрица … Кеану Ривз Описание: Кеану Ривз. Кеану Ривз - актеры В ролях : … Комментарии: … Кеану Ривз … Терминатор Описание: … Терминатор - кадры В ролях : … Комментарии: … Терминатор … Фильмы:Актеры:Кадры из фильма:
Матрица Описание: … Матрица … Матрица - фильмы В ролях : … Комментарии: … Матрица … Матрица Матрица смотреть … Матрица В ролях : … Матрица Эталонные объекты
Контекст 50 пар [Объект – URL] Контекст 50 пар [Объект – URL] Матрица Комментарии: Матрица Подготовка « выдергивателей » Подготовка « выдергивателей »
смотреть Доктор Хаус онлайн без СМС Контекст (что хочет пользователь): смотреть * онлайн Контекст (что хочет пользователь): смотреть * онлайн Объект (кинофильм): Доктор Хаус Объект (кинофильм): Доктор Хаус Доктор Хаус смотреть … Доктор Хаус sezon.html/ URL
Результаты: Раздел / Кол-во страницKinopoiskAfishaFilms.imhonet Описание фильмов/сериалов230k80k - Описание фильмов45k40k - Описание сериалов35k40k - Сезонов сериалов12k - Эпизодов сериалов250k Знаменитости480k112k80k Точность: 99.9%
СПАСИБО! ВОПРОСЫ? Михаил Обухов Дмитрий Вихарев