МЕТОД СКОЛЬЗЯЩЕГО КОНТРОЛЯ ДЛЯ ОЦЕНКИ КАЧЕСТВА РЕКОМЕНДАТЕЛЬНЫХ ИНТЕРНЕТ- СЕРВИСОВ А.Ю. Каминская, Р.А. Магизов Научный руководитель – Д.И. Игнатов Государственный университет – Высшая школа экономики, Москва, Россия 2010

Содержание Постановка задачи Мотивация Примеры моделей рекомендательных систем – User-based RS – Item-based RS Выбор меры (метрики) сходства Методика сравнения Данные MovieLens и Yahoo Результаты Выводы и дальнейшая работа

Постановка задачи Зная предпочтения конкретного пользователя и остальных, выдать ему релевантную рекомендацию Оценка (проверка) качества рекомендаций

Мотивация Существует огромное количество РС Требуются эффективные алгоритмы – Время выполнения – Качество рекомендаций Количество ошибок и полнота рекомендаций

User-based RS целевой пользователь - предметы, которые он оценивал - сходство с пользователем - top-n ближайших к нему соседей, n определяет - пользователи из, которые оценили предмет i - оценка предмета i пользователем u предсказанная системой оценка для целевого пользователя:

Item-based RS целевой пользователь - предметы, которые он оценивал - сходство товара i с товаром j - top-n ближайших к нему товаров, top-n определяет - для - оценка предмета i пользователем u предсказанная системой оценка для целевого пользователя:

Пример User-based RS Пользователь Сходство «Мастер и Маргарита» ВО «Мастер и Маргарита» «Преступление и наказание» ВО Преступление и наказание» Рей Бредбери. Рассказы. ВО Рей Бредбери. Рассказы. Е. Гришковец. «Планета» ВО «Планета» V.M SKY ×0.5= OLA ×0.5= GRY ×0.94= IDI ×0.87=2.61.5

Выбор меры (метрики) сходства Сходство, основанное на расстоянии: – Евклида – Хемминга Корреляция как сходство: – коэффициент Пирсона Косинусная мера Коэффициент Жаккара

Корреляция Пирсона Недостатки – не определена на векторах с постоянными значениями: (4,4,4,...,4) – теряются рекомендации a=(0,5,5,4) b=(0,4,5,0)

Методика сравнения Метрики качества: точность и полнота рекомендаций Скользящий контроль (кросс-валидация)

Точность и полнота Полнота – число релевантных рекомендаций к числу всех выбранных пользователем товаров Точность – число релевантных к числу всех рекомендаций

Скользящий контроль Разбиение на тестовую и обучающую выборки: Сокрытие признаков для тестирования рекомендаций: Вычисление точности и полноты для на признаках :

Точность и полнота: раскрытие неопределенностей else

Алгоритм Параметры: – test% - размер тестового множества – hidden% - размер скрытого множества признаков – p – число повторений разбиения на тестовое и обучающее множество – q – число повторений разбиения на оцененное и неоцененное множества признаков Выход:средние значения точности и полноты по множеству U test и I hidden

Данные MovieLens и Yahoo MovieLens 100K dataset: – 943 пользователя – 1,682 фильма – Каждый оценил как минимум 20 фильмов, всего 100,000 оценок Yahoo binary dataset: – 2,000 фирм – 3,000 рекламных словосочетаний – 92,345 ненулевых ячеек

Результаты

Выводы и дальнейшая работа Предложенная методика позволяет оценить качество работы рекомендательной системы вне зависимости от выбора метода По-видимому, впервые в экспериментах исследуется точность и полнота в зависимости от количества скрытых признаков Для сравнения методов необходимо проведение аналогичных экспериментов для более совершенных моделей РС, например, основанных на бикластеризации

Спасибо за внимание!