ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ С.А.Амелькин Институт программных систем имени А.К.Айламазяна РАН. - презентация

1 ОЦЕНКА ЭФФЕКТИВНОСТИ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ С.А.Амелькин Институт программных систем имени А.К.Айламазяна РАН

2 ЗАДАЧИ Задача восстановления оценки Задача составления рекомендации Составление упорядоченного множества объектов RCDL'2012 Переславль-Залесский, октября Постановка задачи Формулировка критериев Построение алгоритма решения

3 ЗАДАЧА ВОССТАНОВЛЕНИЯ ОЦЕНКИ Задачей рекомендательной системы является расчет значений r i, максимально близких к величинам v i, при заданном множестве пар (пользователь, объект), для которых известны v i. RCDL'2012 Переславль-Залесский, октября Другие: корреляции, Махаланобис Функция близости Метрики: совместно монотонны

4 ФУНКЦИИ БЛИЗОСТИ: МЕТРИКИ Результат работы рекомендательной системы: вектор R=(r 1, r 2, …, r n ) представляет собой точку в пространстве M n, где M – множество (спектр) оценок, допустимых в используемой шкале. Этому же пространству принадлежит точка V=(v 1, v 2, …, v n ). Если на пространстве М n выбрана норма ||V||, например, из класса lp, то соответствующее этой норме расстояние (метрика Минковского) может служить критерием эффективности. RCDL'2012 Переславль-Залесский, октября Нормированное расстояние

5 ФУНКЦИИ БЛИЗОСТИ: ДРУГИЕ Расстояние Махаланобиса: RCDL'2012 Переславль-Залесский, октября

6 ЗАДАЧА СОСТАВЛЕНИЯ РЕКОМЕНДАЦИИ Разделим принятую в данной рекомендательной системе шкалу на две страты: P – положительные оценки и N – отрицательные оценки. Тогда работа рекомендательной системы представляет собой проверку гипотезы H 0 : v i P. RCDL'2012 Переславль-Залесский, октября v i Pv i N r i P положительный прогноз верен ошибка 1 рода ( -ошибка) r i Nошибка 2 рода ( -ошибка)отрицательный прогноз верен

7 КОЭФФИЦИЕНТЫ АССОЦИАТИВНОСТИ RCDL'2012 Переславль-Залесский, октября precision positive prediction value точность recall (recall rate), true positive rate, sensitivity, hitrate, coverage Полнота negative prediction value точность отрицательного прогноза specificityспецифичность accuracyсовстречаемость обозначив pa, pb частоты a и b ошибок, получаем связь между ними и аккуратностью 1 – pb = pa +acc

8 КОЭФФИЦИЕНТЫ АССОЦИАТИВНОСТИ RCDL'2012 Переславль-Залесский, октября F-measure (F score) F мера (мера Ван Ризбергена) false discovery rate false positive rare fall-out

9 НЕОДНОЗНАЧНОСТЬ РЕЗУЛЬТАТА Критерии могут быть противоречивыми: уменьшение уровня значимости (pa) возможно только за счет снижения мощности критерия проверки гипотезы (1 – pb). Если в качестве критериев деятельности рекомендательной системы выбраны несколько таких противоречивых критериев, то настройки системы могут обеспечить увеличение эффективности по одному из критериев только за счет ухудшения эффективности по другому. Зависимость между предельными значениями критериев эффективности называется множеством Парето. Такое множество для рекомендательных систем строится, как правило либо для показателей prc(rcl), либо для rcl(fpr). Свертка критериев, например, коэффициент корреляции Мэтью: RCDL'2012 Переславль-Залесский, октября

10 СОСТАВЛЕНИЕ УПОРЯДОЧЕННОГО МНОЖЕСТВА ОБЪЕКТОВ Задача рекомендательной системы – найти такие оценки r i, чтобы для максимального числа пар (i, j) (i=1, …, n; j=1, …,n; i j) выполнялось условие: RCDL'2012 Переславль-Залесский, октября

11 КРИТЕРИИ RCDL'2012 Переславль-Залесский, октября

12 КРИТЕРИИ RCDL'2012 Переславль-Залесский, октября

13 Сергей Амелькин RCDL'2012 Переславль-Залесский, октября