Информационно-поисковые системы. Сычев А.В г.1 Анализ задачи информационного поиска Воронежский государственный университет Факультет компьютерных наук Кафедра информационных систем

Информационно-поисковые системы. Сычев А.В г.2 Ключевые проблемы Как определить информационную потребность пользователя из его запроса, представляющего собой текст на естественном на языке. Как сопоставлять запросы пользователей с документами из коллекции. Какие из документов выбирать. Как собирать (обновлять), представлять и хранить документы в коллекции. Эффективная реализация информационно-поисковой системы и критерии её оценки. Организация взаимодействия пользователя с системой (интерфейс).

Информационно-поисковые системы. Сычев А.В г.3 Релевантность - степень соответствия содержания документа, найденного в результате информационного поиска, содержанию информационного запроса. Пертинентность - степень соответствия содержания документа, найденного в результате информационного поиска, информационной потребности пользователя, сформулированной в виде информационного запроса. Сложное психологическое явление информационной потребности не всегда удается точно, однозначно и исчерпывающе сформулировать в виде информационного запроса. Релевантность vis Пертинентность Релевантность vis Пертинентность

Информационно-поисковые системы. Сычев А.В г.4 Формальная релевантность – наличие в документе контекстных ситуаций, затребованных пользовательским запросом Содержательная релевантность – соответствие содержания документа информационной потребности пользователя Индивидуально-прагматическая релевантность или пертинентность ( англ. pertinent ) Виды релевантности

Информационно-поисковые системы. Сычев А.В г.5 Эффективность Технико-экономическая эффективность: Быстродействие Полнота охвата документов Себестоимость поиска Функциональная эффективность – способность системы выдавать пользователю как можно большее число релевантных документов и как можно меньшее число нерелевантных.

Информационно-поисковые системы. Сычев А.В г.6 Рассчитывается как отношение общего объема затрат на создание и поддержку работоспособности ИПС в единицу времени (например, за год) к количеству запросов, обрабатываемых ИПС за то же время. Себестоимость запроса

Информационно-поисковые системы. Сычев А.В г.7 Функциональная эффективность Наиболее важными формальными показателями функциональной эффективности являются полнота, точность и избирательность.

Информационно-поисковые системы. Сычев А.В г.8 Полнота, точность, избирательность

Информационно-поисковые системы. Сычев А.В г.9 Полнота vis Точность В реальных системах невозможно достичь одновременно высокой полноты и точности. Поэтому при настройке и оценке используются комбинированные метрики.

Информационно-поисковые системы. Сычев А.В г.10 Уровни отсечения Идея: Фиксируется нужное количество релевантных документов: первые 5, первые 10, 20, 50, 100, 500. Измеряется точность на каждом из этих уровней. Вычисляется (взвешенное) среднее по всем полученным результатам.

Информационно-поисковые системы. Сычев А.В г.11 Е-мера P = точность R = полнота b = степень относительной важности P или R

Информационно-поисковые системы. Сычев А.В г.12 TREC Text REtrieval Conference/Competition проводится организацией National Institute of Standards & Technology ( Первая конференция была проведена в 1992 г. Размер коллекции документов: 5 Г (5 CRDOMов), >1.5 миллионов документов Newswire & полнотекстовые новости (AP, WSJ, Ziff, FT, San Jose Mercury, LA Times) Правительственные документы (федеральный регистр, записи конгресса) FBIS (Foreign Broadcast Information Service) Патенты США.

Информационно-поисковые системы. Сычев А.В г.13 TREC Основные принципы Запросы + оценки релевантности Запросы разрабатываются и оцениваютсяИнформационными специалистами Оценки релевантности выполняются только для документов в выборке, но не для всей коллекции Состязание Участвуют различные исследовательские и коммерческие группы (TREC 6 было 51, TREC 7 было 56, TREC 8 было 66) Результаты оцениваются на полноту и точность доходя до уровня полноты в 1000 документов.

Информационно-поисковые системы. Сычев А.В г.14 Дорожки TREC Это задачи, которые фокусируются на частных проблемах информационного поиска.

Информационно-поисковые системы. Сычев А.В г.15 TREC. Процедура. Создание темы в NIST Темы рассылаются участникам, которые возвращают ранжированные списки лучших 1000 документов по каждой теме NIST формирует пулы уникальных документов из всех присланных списков, которые оцениваются экспертами на релевантность Системы оцениваются по результатам оценок экспертов

Информационно-поисковые системы. Сычев А.В г.16 TREC Достоинства и недостатки Достоинства: Позволяет проверить работу исследовательской системы на большой коллекции документов Предоставляет общепринятый механизм для сравнения различных систем между собой Недостатки: Акцент делается на высокой степени полноты, что нереально с точки зрения того, чего хотят пользователи Нереально длинные запросы Сложность сравнения систем, поскольку они могут различаться по большому количеству показателей Фокусируется на пакетном ранжировании нежели на взаимодействии.

Информационно-поисковые системы. Сычев А.В г.17 ТRЕС Изменение акцентов Особое внимание уделяется таким специализированным дорожкам, как Интерактивность Обработка естественного языка (NLP) Многоязыковость (Китайский, Испанский) Фильтрация Высокая точность Высокая производительноть

Информационно-поисковые системы. Сычев А.В г.18 Имеются аналогичные TREC организации: (Япония) = NII Test Collection for IR Systems NTCIR (Япония) = NII Test Collection for IR Systems NTCIR CLEF (Европа) = Cross Language Evaluation Forum. CLEF NTCIR, CLEF NTCIR, CLEF

Информационно-поисковые системы. Сычев А.В г.19 РОМИП Российский семинар по Оценке Методов Информационного Поиска Это инициатива по созданию плацдарма для проведения независимой оценки методов информационного поиска, ориентированных на работу с русскоязычной информацией ( / )

Информационно-поисковые системы. Сычев А.В г.20 Проект имеет некоммерческий характер и осуществляется силами сообщества российских исследователей и разработчиков, занимающихся информационным поиском. Затраты на подготовку и проведение тестирования возмещаются за счёт взносов участников. Результаты тестирования предназначены для использования только в исследовательских целях и не могут быть использованы в маркетинговых или коммерческих целях. РОМИП

Информационно-поисковые системы. Сычев А.В г.21 Используемые методики оценки являются открытыми, они сформированы с учётом мнения участников. Результаты работы семинара публично доступны как в виде трудов семинара, так и в виде построенных тестовых корпусов. Доступ к корпусам можно получить после обращения в Оргкомитет РОМИП и подписания необходимых соглашений с правообладателем.трудов семинара РОМИП

Информационно-поисковые системы. Сычев А.В г.22 Источники Аветисян Р.Д., Аветисян Д.О. Теоретические основы информатики. М.: РГГУ, Ray Larson Principles of Information Retrieval. Слайды ( / /