Как работают Яндекс.Новости Лев Гершензон, Татьяна Исаева

2 Задачи Яндекс.Новостей Миссия Яндекса – отвечать на заданные и незаданные вопросы пользователей Яндекс.Новости: На главной странице Яндекса удовлетворяют потребность пользователей в актуальной информации Незаданный вопрос: «Что сейчас происходит?» В Поиске отвечают на явно сформулированные вопросы пользователей Заданные вопросы: «Антонина Бабосюк», «РосПил Навальный», «день депортации татар»

3 Принципы Яндекс.Новостей Полностью автоматический сервис Партнерский сервис Единые требования для всех партнеров Зеркало медиа-среды Цели: отразить новостную картину дня и дать ссылки на источники, содержащие наиболее полную информацию о событиях

Модель сервиса 4 Обеспечивают быструю трансляцию контента (50 тыс. сообщений в сутки) Получают читателей (2,6 млн переходов в сутки) Узнают новости на Яндексе (5-10 млн человек в сутки) Читают подробности у источников (1,5 млн человек в сутки) Задают вопросы о новостях (500 тыс. запросов в сутки) Читатели Издания

Интересы участников 5 Все хотят трафика Первоисточники хотят приоритетного размещения и подавления рерайтеров Оптимизаторы хотят прозрачных правил Хотят быстро узнавать, не случилось ли чего Если вдруг случилось, получить ссылку на статью от знакомого источника Получить ссылку на первоисточник Читатели Издания

Интересы Яндекс.Новостей Расширение аудитории, повышение ее лояльности – качественный сервис Привлечение новых поставщиков интересной информации и сохранение существующих – выгодная для партнеров модель сотрудничества 6

Релевантный новостной ответ Алгоритм, формирующий ответ на новостные запросы пользователей, ориентируется на следующие свойства сообщений: –принадлежность первоисточнику –оперативность –цитируемость –информативность Источники, у которых доминируют такие сообщения, предлагаются пользователям в первую очередь. 7

Новостной контент Соответствие формату (не подходят для трансляции реклама, пресс-релизы компаний, блоги, тв-программа, гороскопы...) Технические требования (доступность сайта, отдельные адреса для каждого сообщения...) Требования законодательства (защита прав на интеллектуальную собственность; противодействие терроризму; защита чести, достоинства, репутации…) 8

Наиболее часто встречающиеся проблемы « Наше сообщение не попало в сюжет В Яндекс.Новости попала перепечатка нашей заметки Мы изменили текст сообщения на своем сайте, а в вашей базе данных ничего не изменилось Много времени проходит от включения сообщения в экспортный файл до его появления в Яндекс.Новостях » 9

Что такое *дубликат Дубликаты – документы, в большой степени совпадающие с оригинальным сообщением. Они автоматически определяются до формирования сюжета, не представлены в сюжетах и не участвуют в поиске по сервису. Из каждой группы дубликатов остается по одному сообщению («мастеру»), которое может быть представлено на страницах сюжета и в результатах поиска. «Мастер» определяется: –по времени публикации сообщения на сайте; –по сравнительному анализу текстов; –по цитированию источника (учитываются гиперссылки, текстовые упоминания). 10

Инструмент для поиска дубликатов Предназначен для поиска похожих новостных сообщений (дубликатов, заимствований, цитат и т.п.) Используются те же алгоритмы, что и в массовом сервисе news.yandex.ru, что позволяет увидеть все ошибки алгоритма в разметке дубликатов Находит связи сообщения по заголовку или фрагменту текста Сейчас работает по трёхдневной базе 11

Основные продукты Яндекс.Новостей 1.Страница сюжета (2,5 млн) 2.Новостной блок на главной странице Яндекса (5-10 млн) 3.Главная страница Новостей, страницы рубрик ( тыс.) 4.Поиск по новостям (новостные результаты в поиске Яндекса) (70 тыс.) 5.Новости в основной выдаче Яндекса (150 тыс.) 12

Сюжет. Основные задачи Представление разных точек зрения на одно событие Отображение основных актуальных фактов сюжета Отражение развития событий Предоставление аналитических материалов о событии 13

Создание поискового запроса из ключевых слов документа, построение матрицы близости документов Аннотирование сюжета: выбор заголовка и фрагментов сообщений, содержащих основные факты сюжета Выбор основных заголовков сюжета Выбор статей и интервью Схема создания сюжета 14

Сюжет в Яндекс.Новостях 15

Выбор заголовка сюжета Соответствие региону пользователя Лексическая и фактологическая «ядерность» Актуальность фактов Информативность и читаемость Цель: первый по времени заголовок, наиболее полно отражающий актуальную фактическую сторону сюжета, не содержащий нехарактерных для сюжета слов и фактов. 16

Создание аннотации сюжета (дайджеста) Из всех сообщений сюжета автоматически выделяются наиболее значимые объекты, имена людей, названия организаций, географические объекты, даты и числа. Они, наряду с ключевыми словами сюжета и новостными запросами, определяют выбор текстов для аннотации. Цель: показать предложения из сообщений, содержащие основные факты события 17

Аннотация сюжета. Информативность 18

Заголовок сюжета. Информативность 19

20 Выбор основных заголовков сюжета Цитирование источника в сюжете Дата публикацииВес источника Цель: Должны быть представлены первоисточник(и), наиболее цитируемые источники и заголовки, отражающие актуальное состояние сюжета

Выбор заголовков для первой страницы. Цитируемость в сюжете 21

Определение рубрики и географии сюжета Тематическая рубрика –Специализация изданий –Рубрикация от источника –Лексические запросы География –Выделение обозначений географических объектов из сообщений сюжета –Автоматическое определение релевантных для сюжета географических объектов –Карта населенного пункта, адреса Цель: получить все новости рубрики и региона 22

Принципы формирования регионального выпуска Участвуют сообщения от всех партнёров (не только от партнёров из этого региона) В выпуск попадают сюжеты и сообщения с соответствующим гео-фокусом Ранжирование сюжетов внутри выпуска происходит по общим правилам 23

Казахстанский выпуск 24

Выбор главных новостных сюжетов Цель: отобрать самые освещаемые в СМИ, общезначимые, актуальные и вызывающие интерес пользователей события. 25

Определение веса сюжета Время создания Вес источника Соответствие тематики сюжета специализации агентства Вес отдельного сообщения Плотность потока сообщений Время жизни в топе Динамика сюжета Место новости на сайтах партнёров Медийность 26

Вес источника Цитируемость учитывает, насколько часто ссылаются на источник другие новостные ресурсы Оперативность учитывает, насколько часто источник быстро реагирует на события Вес источников пересчитывается каждую неделю 27

Топ-10 самых цитируемых агентств (в алфавитном порядке) Ведомости Интерфакс ИТАР-ТАСС Коммерсантъ Комсомольская правда Lenta.ru Первый канал РБК РИА Новости Российская газета 28 По данным алгоритма учёта цитируемости сервиса Яндекс.Новости

Топ-10 самых цитируемых агентств Казахстана (в алфавитном порядке) Gazeta.kz Zona.kz ИА Казах Зерно Казинформ Курсивъ Новости-Казахстан Радио Азаттык Respublika-kaz.info Tengrinews.kz Today.Kz По данным алгоритма учёта цитируемости сервиса Яндекс.Новости 29

Медийность – «коллективный топ»

31 Робот и человек в Яндекс.Новостях Человек 1.Принимает решение о сотрудничестве 2.Удаляет ссылку на сообщение из базы данных Яндекс.Новостей в случае, если текст сообщения изменён или отсутствует на сайте источника Робот 1.Скачивает и индексирует новостные сообщения 2.Определяет и исключает из поиска по Яндекс.Новостям дубли 3.Определяет жанр сообщения 4.Выделяет ключевые слова и факты 5.Объединяет сообщения в сюжет 6.Определяет рубрику 7.Ранжирует сюжеты

Что делать с трафиком от агрегатора? Монетизировать сразу –Завесить баннерами страницу с новостью Растить читательскую аудиторию –Для старых пользователей – не разочаровать; –Для новых – заинтересовать: картина дня, новостной контекст, дополнительные материалы Для посетителей с агрегаторов входная точка на новостной сайт не главная страница, а страница с текстом сообщения 32

Как правильно жить с нами Не оптимизировать контент под Яндекс.Новости Следить за представлением своих материалов в агрегаторе Стараться конвертировать трафик в лояльную аудиторию 33

Спасибо за внимание! Вопросы? Лев Гершензон, Татьяна Исаева 34