Архитектура поисковых систем
Поисковая система Поисковая система – веб-сервис, предоставляющий возможность поиска информации в Интернет В основе - идея поиска нужных страниц по ключевым словам в индексе
Функции поисковых систем Хранение больших объёмов информации Добавление, изменение и удаление хранимой информации Быстрый поиск требуемой информации Вывод информации в удобном для человека виде
Общая архитектура
Базовые части Робот – отвечает за сбор информации База данных – хранение собранной информации Клиент – обработка запросов
Робот поисковых систем Поисковый робот – программа, которая отвечает за сбор информации Эмулирует работу пользователя, загружая страницы и сохраняя их в базе данных
Робот поисковых систем Crawler – Червяк – отвечает за сбор адресов Задача: сформировать список адресов, по которым поползёт… Spider – Паук – отвечает за закачку веб-страниц и сохранение в базе Скачивает html-код страниц Подобен браузеру, но ничего не отображает
Робот поисковых систем У робота есть стратегия… Обойти больше доменов Пройти «глубже» по одному домену …и различные: порядок обхода страниц глубина просмотра частота обхода страниц защита от зацикливания
Поисковые системы дают возможность самостоятельно добавлять сайты в очередь для обхода сайта роботом Преимущества: ускоряет процесс обхода сайта иногда это единственная возможность заявить о существовании сайта
База данных Программа, которая отвечает за хранение и обработку собранной информации Хранилище (репозиторий) Индексатор Индекс
База данных Индексатор – программа, которая анализирует скачанные веб- страницы разбирает их на составные части – абзацы, предложения, слова и т.д. собирает различную служебную информацию о страницах
База данных Индекс: Прямой Обратный (инвертированный) Вспомогательный
База данных Прямой индекс Упорядоченный список страниц Для страницы указаны все слова, которые входят в документ, количество и формат
База данных Обратный индекс Список слов Для каждого списка указаны все страницы, на которых это слово встречается, и полная информация о вхождении
База данных Вспомогательный индекс Список страниц и любая другая информация о ней, нужная конкретной ПС Используется, как правило, для ранжирования результатов поиска
Клиент Программа, которая отвечает за обработку запросов Принимает запросы пользователей Обрабатывает запросы Упорядочивает запросы Выдаёт страницу результатов поиска (SERP)
Клиент Запрос – набор ключевых слов на естественном языке + география + время +соц.демографические характеристики + история поиска и т.д.
Клиент Обработка запросов Проверка на опечатки Вычет стоп-слов Словоформы Колдунщики Построение списка документов, в которых встречаются заданные слова
Клиент Ранжирование – «чёрный ящик» всех поисковых систем Ранжирование – упорядочивание результатов поиска по релевантности Есть много ранжирующих факторов…
Клиент Ранжирующие факторы: Количество вхождений Частота Форматирование Расстояние между словами запроса Близость к началу документа Учёт морфологии Количество и тексты внешних ссылок на сайт и страницу
Построение SERP Search Engine Result Page Заголовок Сниппет – куски текста, релевантные запросу Адрес (URL) + Сохранённая копия Ещё с сайта…
Качество поиска Релевантность – соответствие документа запросу Полнота – процент найденных релевантных страниц среди всех существующих релевантных в Сети Точность – доля релевантных документов от общего количества найденных Пертинентность – соответствие потребности пользователя
Общая архитектура
Вопросы ?