robots.txt стандарт, расширения, аспекты применения Поисковая оптимизация и продвижение сайтов в Интернете Владимир Чернышов

Что такое robots.txt Файл robots.txt – основной инструмент, с помощью которого вебмастер может управлять индексацией сайта роботами поисковых систем. Основная функция файла – запрещающая, с помощью нескольких, относительно простых правил, записанных в обычном текстовом файле можно запретить индексацию страницы или группы страниц на сайте. Поисковая оптимизация и продвижение сайтов в Интернете Владимир Чернышов

Зачем запрещать индексацию? Как правило, запрещают индексацию неинформативных и служебных страниц Версии для печати Формы регистрации, аутентификации и т.п. Профили пользователей на форумах Корзина товаров в интернет-магазинах Варианты сортировки списков ссылок Адреса с идентификаторами сессий Адреса с метками Поисковая оптимизация и продвижение сайтов в Интернете Владимир Чернышов

История протокола исключений В начале 90-х годов участились случаи, когда роботы вызывали сбои в работе веб-серверов из-за слишком высокой нагрузки при большой частоте запросов к серверу. Документ, описывающий протокол исключений был впервые представлен 30 июня 1994 года в специализированной рассылке. За 12 прошедших лет протокол так и не стал стандартом «де юре», хотя является стандартом «де факто» Поисковая оптимизация и продвижение сайтов в Интернете Владимир Чернышов

Выбор имени файла Имя файла должно соответствовать основным критериям к именованиям файлов в большинстве операционных систем. Имя файла не должно требовать дополнительных настроек веб-сервера. Имя файла должно указывать на его предназначение и быть легко запоминаемым. Вероятность совпадения имени с существующими файлами должна быть минимальной. Поисковая оптимизация и продвижение сайтов в Интернете Владимир Чернышов

Формат файла robots.txt Файл robots.txt должен находиться в корневой директории домена или поддомена Имя файла регистрозависимое и должно состоять только из строчных (lower-case) символов Записи (секции) в файле разделяются пустыми строками Перевод строки может быть в формате любой операционной системы, CR LF, LF или CR Запись состоит из одной или нескольких строк с User-agent, за которыми следуют одна или несколько строк с Disallow Поисковая оптимизация и продвижение сайтов в Интернете Владимир Чернышов

Пример файла robots.txt # Start User-agent: Googlebot User-agent: StackRambler Disallow: /dir Disallow: /file.htm User-agent: * Disallow: # Finish Поисковая оптимизация и продвижение сайтов в Интернете Владимир Чернышов

Нестандартные директивы Директива Crawl-delay (Yahoo и MSN) – время в секундах между запросами робота. Директива Allow (Yahoo и Google) – указывает адреса, которые можно индексировать Символы подстановки * - любые символы и $ - конец строки (Yahoo, Google, Rambler) Директива Host (Yandex) – директива указывает на главное зеркало сайта Поисковая оптимизация и продвижение сайтов в Интернете Владимир Чернышов

Пример файла robots.txt User-agent: msnbot-media User-agent: Googlebot-Image User-agent: Yahoo-MMCrawler Disallow: / User-agent: Yandex Disallow: /Messages.asp?sort= Host: forum.liga.net User-agent: Googlebot User-agent: StackRambler Disallow: /*ts= Disallow: /*=$ Поисковая оптимизация и продвижение сайтов в Интернете Владимир Чернышов User-agent: Slurp User-agent: msnbot Disallow: /Messages.asp?sort= Crawl-delay: 10 User-agent: * Disallow: /Messages.asp?sort= Disallow: /poll/ Disallow: /ic

Резюме Создавать robots.txt для каждого домен и поддомена сайта Создавать запись для всех остальных роботов (User-agent: *) Использовать нестандартные директивы только в секциях для тех роботов, которые их поддерживают Поисковая оптимизация и продвижение сайтов в Интернете Владимир Чернышов

Информационно-аналитический центр «ЛІГА» 04112, г. Киев, ул. Т. Шамрыло, 23 Тел./факс: +380 (44) (многоканальный) Web: Поисковая оптимизация и продвижение сайтов в Интернете Владимир Чернышов