Методология исследования выдачи Яндекса 24-25 сентября SEO Conference 2015. - презентация

1 Методология исследования выдачи Яндекса сентября SEO Conference 2015

2 Игорь Бакалов В клиентском SEO с 2010 года Опыт продвижения: более 100 проектов Автор блога YouTube канал:

3 План доклада: 1)Фильтр за аффилированность сайтов 2)Фильтр за «взрослый» контент 3)Отключение ссылок в Яндексе 4)Определение синонимов

4 Фильтр за аффилированность сайтов Если Яндекс определяет, что два сайта принадлежат одной компании, то они считаются аффилиированными, в итоге в поисковой выдаче по одному и тому же запросу отображается только один* из сайтов.

5 Фильтр за аффилированность сайтов Выдержка из хелпа Яндекс.Вебмастера: Мы стараемся не индексировать или не ранжировать высоко: группы сайтов одного владельца/компании, предоставляющие пользователю одни и те же товары или услуги, созданные с целью заполнения нескольких позиций в результатах поиска и сбора трафика...

6 Фильтр за аффилированность сайтов Выдержка из «Клуба Поиска»: Один из общих принципов построения качественной выдачи - обеспечение разнообразия результатов по запросу. Поисковый алгоритм настроен таким образом, чтобы это разнообразие обеспечить. Для этого используются различные подходы и задействовано множество факторов. Термин "фильтр аффилированных сайтов" придумали оптимизаторы. Обычно под ним понимается общий случай отсутствия сайта в поиске по какому-либо запросу одновременно с другими сайтами...

7 Фильтр за аффилированность сайтов Однако, Платоны отвечают так: Приношу извинения за задержку с ответом. К сожалению, никак не могу прокомментировать "аффилированность" указанных Вами сайтов, мы не оперируем подобными понятиями. Или так: Мы не гарантируем нахождение каких-либо сайтов по тем или иным запросам в выдаче. Задача Яндекса - показывать пользователям качественную, разнообразную информацию по теме запроса, и в этом смысле проблем с указанными Вами запросами не наблюдается. Ваш сайт хорошо индексируется и находится в поиске в соответствии с его релевантностью запросам пользователей. Каких-либо ограничений в его ранжировании с нашей стороны нет. Рассматривать же вопрос, почему тот или иной конкретный сайт не находится или плохо находится по тому или иному запросу, почему его место в результатах поиска изменилось и т.п., с иной целью, нежели улучшение алгоритмов, мы не можем, эта деятельность выходит за рамки наших задач.

8 Фильтр за аффилированность сайтов При этом, сравнение позиций двух сайтов как бы намекает… Запрос Вордстатsite-promo.rusite.ru продвижение сайтов сайтов продвижение продвижение сайта сайта продвижение контекстная реклама реклама контекстная смс рассылка оптимизация раскрутка сайта сайта раскрутка вакансии менеджер по продажам фирменный стиль продвижение работа продвижение сайта в топ 10 яндекса цена раскрутка сайтов 9599 сайтов раскрутка услуга это оптимизация seo71630 продвижение и создание сайтов 7148 создание и продвижение сайтов 7143

9 Фильтр за аффилированность сайтов Как диагностировать фильтр:

10 Фильтр за аффилированность сайтов Поиск кандидата на аффилированность: 1. Взять основные запросы из СЯ 2. Проверить по ним позиции 3. Выбрать запросы, где сайта нет в топ-50 (топ-100) 4. Для каждого запроса выгрузить топ-10 (топ-30) 5. Модифицировать запросы из СЯ: Запрос 1 ~~ site:domain1. ru Запрос 1 ~~ site:domain2. ru … Запрос 1 ~~ site:domain10. ru 6. По всем модифицированным запросам проверить позиции 7. Выбрать сайты, при исключении которых есть рост

11 Фильтр за аффилированность сайтов Как раньше проверяли аффилированность 2 сайтов: ru | ru host:domain1. ru | host:domain2. ru (domain:site1 /+1 domain:ru) | (domain:site2 /+1 domain:ru) (domain:site1 &/(1 1) domain:ru) | (domain:site2 &/(1 1) domain:ru) "запрос" << (url:domain1. ru | url:domain1.ru/) запрос << (lang:ru ~~ site:domain.ru) rhost:ru.site1.* | rhost:ru.site2.* inurl:site1. ru | inurl:site2. ru …

12 Фильтр за аффилированность сайтов Рабочий запрос, два аффилированных сайта: lang:ru ~~ domain:ua << (url: | url:

13 Фильтр за аффилированность сайтов Рабочий запрос, два НЕ аффилированных сайта: lang:ru ~~ domain:ua << (url: | url:kokoc.com)

14 Фильтр за взрослый контент Поиск Яндекса и контент для взрослых Мы хотим обеспечить всем нашим пользователям, в том числе и тем, которые не интересуются каким-либо эротическим контентом, релевантные результаты поиска. [...] Мы считаем, что если в поисковом запросе явно не выражено намерение найти именно порнографию и ничего другого, то поисковая машина не должна предлагать в результатах поиска ссылки на ресурсы с эротическим содержанием. И ещё: Для определения «порнограф личности» страницы используются, в первую очередь, тексты и слова, размещенные на этой странице (в том числе в ссылках). Используются и многие другие факторы. Например, если на сайте много страниц «для взрослых», содержащих соответствующую лексику, то, с большой вероятностью, из результатов поиска будут отфильтрованы и другие страницы с этого сайта, даже те, которые такую лексику не содержат.

15 Фильтр за взрослый контент Семейный поиск становится лучше Существенный вклад в качество фильтрации внес алгоритм обнаружения баннерной рекламы порнографического содержания: документы, содержащие такую рекламу, мы также удаляем из результатов "семейного поиска". По нашим данным реклама взрослого содержания размещена не менее, чем на 50 тысячах сайтов рунета. И ещё: Разработанная технология используется также и в большом поиске, когда в поисковом запросе явно не выражено намерение найти материалы "для взрослых". В этом случае поисковая система не предлагает пользователям в результатах поиска ссылки на ресурсы с подобными материалами.

16 Фильтр за взрослый контент Как диагностировать фильтр: Использовать при поиске GET параметр &family=yes Без GET параметра &family=yes

17 Фильтр за взрослый контент Может накладываться на отдельные URL С использованием GET параметра &family=yes Без GET параметра &family=yes

18 Фильтр на одинаковые сниппеты Сайт исчезает из топа по запросу (или нескольким запросам), но при этом в выдаче по ссылке Показать все сайты без предпочтения показывается на прежнем месте. © E. Камская Для диагностики используется GET параметр &rd=0 Удобно проверять в KeyCollector:

19 Отключение ссылок в Яндексе Март 2014, А. Садовский отменяет учет ссылок в ранжировании коммерческих запросов в Московском регионе:

20 Отключение ссылок в Яндексе Лето 2014, Сергей Людкевич предлагает методику проверки отключения ссылочного по запросам: html

21 Отключение ссылок в Яндексе Суть проверки по методу Людкевича Найти НЕ в Московской выдаче документ, который: 1. Не является быстроботовской примесью; 2. Имеет сохраненную копию; 3. Не содержит ключевые слова из запроса в URL; 4. В региональной выдаче с пометкой «Ссылки на страницу содержат». Когда подходящая страница найдена: 1. Сузить поиск до конкретного документа (оператор «URL»); 2. Проверить ищется ли документ в Московском регионе (&lr=213) Если не ищется – ссылочное по запросу отключено Если ищется – ссылочное по запросу НЕ отключено

22 Отключение ссылок в Яндексе Немного занудной теории: Пусть в документе [d] нет слов из запроса [q]. В этом случае если рассматривать отдельно «текстовую релевантность» (TR), то документ по запросу найден не будет. Однако существует ещё и «линковая релевантность» (LR), aka «анкерное». Если слова из [q] есть в текстах ссылок ведущих на [d], то документ будет найдет в результатах поиска с пометкой «СНСС». Метод им. Сергея Людкевича позволяет проверить учет LR в Московском регионе для документов, которые имеют нулевую TR. При этом проверить «работают ли ссылки» для документов в которых есть слова из запроса таким образом невозможно.

23 Отключение ссылок в Яндексе

24 Кворум необходимая доля суммарного веса (IDF) слов из поискового запроса, которая должна присутствовать в тексте документа и/или текстах входящих на него ссылок для попадания в результаты поиска (SERP) © Севальнев Дмитрий. Где: Q поисковый запрос; q (i) i-ое слово запроса; w (q(i)) функция веса слова; D обрабатываемый документ. После того, как все пассажи документа, прошедшие фильтрацию по кворуму, определены, наступает этап ранжирования, то есть вычисление веса документа (

25 Отключение ссылок в Яндексе Возьмем коммерческий запрос [купить пластиковые окна], по которому методика С. Людкевича показывает, что ссылочное ранжирование отключено. Рассмотрим 3 случая: 1. В документе «A» нет слов из запроса, но все слова есть в тексте входящей ссылки на документ. 2. В документе «B» есть одно слово «купить», а слов «пластиковые» и «окна» нет. На документ нет входящих ссылок со словами из запроса. 3. В документе «C» есть одно слово «купить» и все слова из запроса есть в тексте входящей ссылки на документ.

26 Отключение ссылок в Яндексе Случай 1, регион «Нижний Новгород»: Случай 1, регион «Москва»:

27 Отключение ссылок в Яндексе Случай 2, регион «Нижний Новгород», ищем просто слово «купить» Случай 2, регион «Нижний Новгород», ищем фразу «купить пластиковые окна»

28 Отключение ссылок в Яндексе Случай 3, регион «Нижний Новгород»: Случай 3, регион «Москва»:

29 Определение синонимов в Яндексе Синонимы слова, различные по звучанию, но тождественные или близкие по смыслу, а также синтаксические и грамматические конструкции, совпадающие по значению. Синонимы бывают полные и частичные. © Современная энциклопедия, 2000 Примеры синонимов: бегемот гиппопотам языкознание языковедение помидор томат пианино фортепиано Ни одна из этой пары не является «синонимом» для Яндекса… Как определить?

30 Определение синонимов в Яндексе Чтобы проверить являются ли «слово 1» синонимом «слову 2» необходимо найти документ, который: 1. Проиндексирован в Яндексе 2. Содержит в контенте «Слово 1» 3. Не содержит в контенте «Слово 2» 4. Не содержит в ЧПУ кириллицу/транслит «Слово 2» 5. Не содержит в анкор-файле «Слово 2» 6.Проверить, ищется ли URL по «Слово 2» Если URL по «Слово 2» нашелся, то значит «Слово 1» и «Слово 2» являются для Яндекса синонимами. В противном случае – не являются.

31 Определение синонимов в Яндексе Рассмотрим на примере: Задаем в Яндекс запрос [бегемот ~~ гиппопотам] Выбираем несколько результатов, где нет вхождения в «гиппопотам» в URL, например: html Для каждого URL проверяем наличие слова «гиппопотам» в анкор-файле

32 Определение синонимов в Яндексе Поиск по анкор-файлу, запрос вида: [url:site.ru/page.html << inlink:запрос] © Сергей Людкевич Для первого URL видим, что слово « гиппопотам » есть в анкор-файле, т.е. URL нам не подходит: Со вторым URL всё ок, слова «гиппопотам» в анкорах нет:

33 Определение синонимов в Яндексе Заключительный шаг – проверить ищется ли выбранный URL по запросу [гиппопотам], запрос вида: [запрос url:site.ru/page.html] Для рассматриваемого пример получаем: Вывод: для Яндекса слова «бегемот» и «гиппопотам» НЕ являются синонимами. Зато например синонимами является связка «блог» / «жж».

34 Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и «слово 3 слово 4». По описанной выше методике синонимами не являются: «Отели» и «Гостиницы», документ ищется по [Отели]: Но не ищется по [Гостиницы]:

35 Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и «слово 3 слово 4». По описанной выше методике синонимами не являются: «Голландия» и «Нидерланды», документ ищется по [Голландия]: Но не ищется по [Нидерланды]:

36 Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и «слово 3 слово 4». Но этот же, документ в котором нет ни «Гостиницы», ни «Нидерланды»: Ищется по запросу [гостиницы нидерланды], т.к. есть вхождения «Отели Голландии»:

37 Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и «слово 1 слово 3». Рассмотрим два запроса: «цифровое фортепиано» и «цифровое пианино». Убедимся, что «фортепиано» и «пианино» не синонимы. По [фортепиано] получаем: По [пианино] этот же документ не ищется:

38 Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и «слово 1 слово 3». Найдем документ, где есть вхождение «цифровое пианино» без «фортепиано»: Проверим, ищется ли этот URL по [цифровое фортепиано]:

39 Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и «слово 1 слово 3».

40 Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и «слово 1 слово 3». Гипотеза: А что если «цифровое фортепиано» и «цифровое пианино» вовсе не синонимы, а просто вес слова «цифровое» достаточно, чтобы пройти кворум? Первый способ убедиться, что это не так – найти документ, в котором встречается «цифровое», но без «пианино», или «фортепиано»:

41 Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и «слово 1 слово 3». Для полученного URL проверить, ищется ли он по [пианино] или [фортепиано]: В качестве более простого метода можно использовать GET параметр &nosyn=1:

42 Определение синонимов в Яндексе Возможные ошибки при определении синонимов: Ошибка 1. «Подсветка» != «Синоним» Выдача по запросу [кемпер]

43 Определение синонимов в Яндексе Возможные ошибки при определении синонимов: Ошибка 2. GET параметр &nosyn=1 – не панацея. Выдача по запросу [террасная доска]: Выдача по этому же запросу, но с &nosyn=1:

44 Определение синонимов в Яндексе Возможные ошибки при определении синонимов: Ошибка 2. GET параметр &nosyn=1 – не панацея. Документ, где нет «декинг», но есть «террасная доска»: Этот документ по запросу [декинг] не ищется:

45 Определение синонимов в Яндексе Возможные ошибки при определении синонимов: Ошибка 2. GET параметр &nosyn=1 – не панацея. По [террасная декинг] тоже не ищется: Как и по [доска декинг]:

46 Спасибо за внимание! Игорь Бакалов Подписывайтесь на мой блог: И добавляйтесь в социальных сетях: