Аффилирование, или борьба с монополизацией поисковой выдачи

Авторы: Игорь Козлов, Игорь Клименко, Борис Горелик, Александр Фомин - компания "AdLabs"

 Создание нескольких сайтов с целью заполнения самых верхних позиций выдачи поисковых систем явление в Рунете не новое.

 Аффилирование группы сайтов (ограничение их присутствия в поисковых системах) стало ответом поисковых систем на первые шаги, предпринимаемые онлайновыми бизнес-проектами в направлении монополизации. Стремление бизнеса расширить свое присутствие в поисковых системах путем создания дополнительных сайтов, полностью или частично дублирующих товары/услуги, основного сайта, с целью увеличения охвата целевой аудитории и, как следствие, увеличение объема продаж, получило неожиданное противодействие со стороны поисковых систем.

 

 Поисковые системы пытаются решить проблему присутствия в поисковой выдаче подобных сайтов всеми возможными способами, постепенно совершенствуя свои алгоритмы. Однако, нередко под фильтры попадают случайные сайты. Поэтому актуальным является поиск способов выявления сайтов-аффилиатов до наложения фильтра, с целью избежать ложного аффилирования.

 

В докладе рассматривается классическое понятие аффилированности. Выявлены основные признаки сайтов-аффилиатов. В ходе исследований, проведенных компанией AdLabs, установлено, что одинаковые регистрационные данные доменов, адреса и телефоны на сайтах, однотипные карточки товаров и описания товаров, схожая верстка позволяют ПС без труда «фильтровать» похожие страницы и сайты. Кроме того, оказалось, что две крупнейшие поисковые системы характеризуются различным отношением к сайтам-аффилиатам.

 

Действительно, Яндекс разнообразит всю информацию для пользователей радикальными методами, в то время как Google менее категоричен в методах аффилирования.

Однообразная выдача поисковых систем, низкая информационная ценность сайтов аффилиатов привели к введению соответствующего фильтра для аффилированных сайтов.

Тема аффилированности в поисковых системах возникла достаточно давно. Вот такое определение дает Википедия:

Аффилированность - связь участника с явлением, о котором он пишет.

Аффилированные лица - физические и юридические лица, способные оказывать влияние на деятельность юридических и (или) физических лиц, осуществляющих предпринимательскую деятельность.

Проще говоря – явление аффилированности – причастность к чему-либо, возможность оказать влияние на чью-то деятельность.

В разрезе поисковых систем и их алгоритмов это понятие впервые массово проявилось в 2007 году.

Аффилирование в Яндексе

Точно ответить на вопрос когда впервые Яндекс применил процедуру аффилирования могут лишь представители самой поисковой системы. Уверенно можно сказать, что осенью 2007 года Яндекс уже использовал ее в ряде коммерческих тематик. Аффилирование сайтов Яндексом выглядело следующим образом: после очередного апдейта (обновления поисковой выдачи) Яндекса обнаружилось, что в ряде коммерческих тематик сайты, похожие между собой, были объединены в группы («склеились»), в результате чего в выдаче Яндекса остался только «лучший» сайт из всей группы. Данное явление в Яндексе получило название «фильтра аффилиатов», а сайты, которые попали под этот фильтр стали называть аффилированными.

Чего добился Яндекс-Поиск введением этого фильтра?

Появление фильтра аффилиатов в Яндекс-Поиске позволило освободить несколько мест в выдаче по ряду конкурентных запросов для других сайтов, находившихся ранее на более низких позициях. В результате компании, которые ранее были представленные в выдаче поисковых систем несколькими сайтами, продвигаемыми по одним и тем же поисковым запросам, после применения к ним фильтра аффилиатов потеряли свой больший охват целевой аудитории.

Сейчас аффилирование применяется не только для поиска. Оно применяется и в других сервисах Яндекса – Яндекс-Директе, Яндекс-Маркете:

Пункт 5 Правил показа Яндекс-Директа:

«…При этом сайты признаются сходными при совпадении значительной части ассортимента предлагаемых на сайтах товаров (работ, услуг), реализуемых в одном регионе, и/или наличии других признаков, позволяющих предположить, что предлагаются одни и те же товары одним и тем же (аффилированными, имеющими тесную взаимосвязь) поставщиком, вне зависимости от незначительного различия ассортимента, разного дизайна, структурной организации сайтов, отличия цен, а также от принадлежности (администрирования) сайтов разным(-и) лицам(-и)».

Пункт 14 требований к рекламным Материалам Яндекс-Маркета:

«Яндекс может по своему усмотрению отказать в размещении нескольких магазинов (либо сайтов, относящихся к одному магазину), предлагающих товары в одном регионе и позволяющих предположить наличие аффилированности, взаимозаменяемости или иной тесной взаимосвязи между этими магазинами (сайтами), либо произвести группировку пересекающегося ассортимента со скрытием дублирующих предложений таких магазинов (сайтов).

При этом сайты признаются сходными вне зависимости от различия ассортимента, разного дизайна, структурной организации сайтов, отличия цен и принадлежности сайтов разным лицам. Пересекающимся ассортиментом признаются товарные предложения сходных магазинов, относящиеся к одному и тому товару, включая как идентичные по описанию товарные предложения, так и имеющие отличия по отдельным характеристикам (модификациям) одного и того же товара».

Полный текст: http://partner.market.yandex.ru/legal/rm/

Аффилирование в Google

Поисковая система Google по другому относится к сайтам-аффилиатам.

Понятие аффилированных сайтов для Google появилось несколько ранее – в начале 2007 года и касалось не сайтов из органического поиска, а сайтов зарабатывающим в AdSense.

Выдержка из «Правил программы AdSense для доменов»:

«…Веб-страницы, участвующие в AdSense для доменов, не должны загружаться программами, которые могут вызывать всплывающие окна, перенаправлять пользователей на нежелательные веб-сайты, изменять настройки браузера или иным способом препятствовать свободной навигации по сайту. Вы обязаны следить за тем, чтобы в рекламных сетях и на аффилированных сайтах не использовались подобные методы с целью направления трафика на страницы, содержащие ваш код AdSense…».

Полный текст: http://adsense.google.com/support/bin/answer.py?answer=96332

Немного позже понятие аффилированных сайтов распространилось и на Google-Поиск.

Выдержка из справки Google - Веб-мастера/владельцы сайтов - Аффилированные программы:

«…сайты, основная часть содержания которых позаимствована из аффилированных сетей, могут иметь низкий рейтинг в результатах поиска Google, так как на них отсутствует уникальное содержание, отличающее их от других веб-сайтов.

Мы считаем, что аффилированные сайты не представляют для пользователей особого интереса, особенно если они являются частью программы, которая распространяет содержание среди сотен других аффилиатов. Поскольку в результатах поиска может оказаться несколько сайтов с одинаковым содержанием, это может вызвать у пользователей негативную реакцию».

Полный текст: http://www.google.com/support/webmasters/bin/answer.py?answer=76465

Как видно, в документе указывается причина, по которой Google принимает меры к сайтам аффилиатам. Во главу угла они ставят уникальную информацию, которой, в большинстве своем, лишены сайты участники партнерских программ с готовой информацией, предоставляемой основным сайтом партнерской программы.

Это практически вся доступная официальная информация по аффилированным сайтам от этих поисковых систем.

Подытожив вышесказанное, можно сформулировать основные идеи, которые вкладывают наиболее популярные в Рунете поисковые системы Яндекс и Google в понятие аффилированных сайтов:

Яндекс-Поиск чистит выдачу от сайтов-аффилиатов, различного качества, индексируя их, но всегда показывая только один сайт из группы. При этом остальные сайты-аффилиаты по этому запросу не показываются совсем.

Яндекс-Директ – удаляет рекламные объявления, которые направляют пользователей на сайты-аффилиаты.

Яндекс-Маркет – удаляет или группирует схожие предложения интернет-магазинов, чтобы не рекламировать один и тот же товар многократно.

Google-Поиск не желает высоко ранжировать сайты с дублированной информацией партнерских программ и говорит о занижении их в выдаче.

Google-AdSense против того, чтобы на нем зарабатывали с помощью сайтов-аффилиатов перенаправляя трафик на рекламу.

Итак, Яндекс и Google зачисляют в аффилиаты из-за неуникальности информации сайта, занижая его в поиске (Google), или, «вырезая» из выдачи (Яндекс). Различие состоит в том, что Яндекс исключает аффилированные сайты не только из поиска, но и из всех своих сервисов (Яндекс-Директ, Яндекс-Маркет).

Зачем создаются сайты-аффилиаты?

Создание и продвижение нескольких сайтов одной компании, которые рекламируют (продают) один и тот же фактический товар/услугу достаточно выгодно на первый взгляд. Ведь присутствие в выдаче поисковых систем по одним и тем же запросам нескольких сайтов одной компании значительно увеличивает вероятность привлечения большего числа клиентов в эту компанию. При таком подходе, вероятность покупки товара у владельцев сайтов-аффилиатов увеличивается. Есть другая сторона вопроса – присутствие в выдаче незафильтрованных сайтов-аффилиатов одной компании сильно уменьшает шансы по продаже товара другими компаниями. Для Яндекса скорее важно удовлетворение потребностей поиска как можно большего числа посетителей, а также новая философия поиска – ответ на вопрос.

Почему создание сайтов-аффилиатов выгодно только на первый взгляд?

Потому что:

алгоритмы определения аффилиатов постоянно совершенствуются;

конкуренты всегда имеют возможность указать на схожесть сайтов, даже если алгоритм поисковой системы пока не увидел схожести, т.е. сайты-аффилиаты все равно окажутся под фильтром рано или поздно;

создание и продвижение качественного сайта требует значительных финансовых ассигнований, которые в случае применения фильтра аффилиатов вряд ли окупятся;

Не лучше ли направить материальные средства и усилия на улучшение основного сайта, чтобы он мог занимать лидирующие позиции в своей тематике? Сайты можно улучшать и делать удобнее для пользователей почти до бесконечности.

Региональность аффилиатов

Введение Яндексом региональной выдачи коснулось и аффилированных сайтов.  По наблюдениям, предпочитаемый сайт из группы аффилированных выбирается для каждого региона свой, хотя запрос

запрос<< (url="site1.ru"|url=" site2.ru")

выдает одинаковые результаты вне зависимости от региона.

То есть, наблюдается ситуация, когда по запросу в выдаче может быть site1.ru для Москвы, site2.ru для России, тогда как

запрос<< (url=" site1.ru"|url="site2.ru")

показывает в обоих регионах site1.ru. Толковать это можно обработкой «специфичного» запроса нерегиональным алгоритмом или же временным заблуждением Яндекса в региональной выдаче. Будущее покажет, что же это на самом деле.

Известная информация об аффилиатах Яндекса:

Фильтр аффилиатов накладывается на группу из 2 или более доменов. По одному запросу в выдаче один домен, остальные домены скрыты; по другим запросам наблюдается та же картина, но вполне возможно предпочтение другого сайта из группы. Т.е. по одному запросу более релевантен один сайт, по другому запросу – другой и т.д.

В разных регионах выдаются разные сайты по одному запросу, то есть выбирается лучший по региону;

У сайтов-аффилиатов возможна смена лучшего по запросу, которого и показывают в выдаче. «Подмена» лучшего сайта в выдаче происходит при апдейте.

Сайты-аффилиаты понятие не только Поиска, но и Директа, Маркета.

Параметры &rd=0, &pag=u в url уже не помогают увидеть аффилиаты.

Сайты одной компании не попадают автоматически под фильтр-аффилиатов в Поиске, если на них минимум контактных данных, и контактные данные уникальны. Также не попадают автоматически под действие фильтра сайты с формами связи вместо контактной информации.

В наложении фильтра обязательно участвует человек, который может наложить фильтр на основе своего мнения и данных автоматического алгоритма, а также снять фильтрв в случае ложного срабатывания.

известный метод определения аффилиатов для Яндекса   запрос<< (url="site1.ru"|url="site2.ru").

 

Эволюция в поиске Яндекса

 Идеи о сокращении накладных расходов на индексацию сайтов Рунета не новы.

 Постоянный рост количества страниц в Интернете, ограниченность дискового пространства также делают актуальной борьбу с сайтами-аффилиатами.

 Последовательность шагов, предпринятых Яндексом в разное время в направлении улучшения поисковой выдачи и сокращения дублированной информации, выглядит следующим образом:

директива Host -> явные и неявные дубли -> сайты-аффилиаты -> что дальше (возможно АГС-17)?

 Рассмотрим каждый шаг.

 Директива Host. Известно, что указать зеркала для поисковых систем можно несколькими способами, одним из них для Яндекса является директива Host. Директива Host не поддерживается никакими другими поисковыми системами является необязательной даже для самого Яндекса. Директива указывает предпочитаемое «зеркало» сайт, который, возможно, станет основным в поиске. Директива предназначена для правильной обработки и склейки «зеркальщиком» копий/зеркал сайта.

 Явные и неявные дубли информации. Анализируя содержимое страниц сайтов, принимается решение о частичном или полном исключении страниц дублей из индекса, причем как для похожих страниц одного домена, так и разных. Затрагивает исключительно Яндекс-Поиск.

 Сайты-аффилиаты.  Яндекс не позволяет одновременно рекламировать в системах Яндекс-Директ и/или Яндекс-Маркет одни и те же товары/услуги нескольким разным сайтам одной компании, несмотря на то, что он теряет при этом прибыль. Похожие сайты группируются в поиске, полностью, или частично удаляются из Директа, Маркета. В Google сайты-аффилиаты занижаются в поиске из-за неуникальности информации и удаляются из рекламной программы AdSense из-за нечестной «накрутки» рекламы.

 

 Логичным развитием борьбы с засорением выдачи может быть введение жесткого определения первоисточника информации и отсева вторичных источников. В подобном случае будут удаляться все явные и неявные дубли информации, кроме первоисточника. Возможно, подобная технология уже частично реализована в Яндекс-Новостях и будет спроецирована на основной Яндекс-Поиск.

 Подозрительно похож на идею с первоисточником признанный Яндексом алгоритм АГС 17, как раз и направленный на сокращение всевозможной неуникальной информации в индексе поисковой системы.

Необходимо отметить, что дублирование информации очень часто позволяет определить важность и значимость информации.

Признаки того, что сайт аффилирован Яндексом

 

·                    В обсчете позиций сайта должны явно выпадать группы запросов, при сохранении индексации продвигаемых страниц в поисковой системе;

 

Отчет до наложения фильтра:

Отчет с наложенным фильтром-аффилиатов:

Соответствующие страницы по продвигаемым запросам сайтов A, B, C, D проиндексированы Яндексом, однако в большом поиске выдается только один домен из четырех.

 

·  Для нахождения сайтов, попавших под фильтр аффилиатов, необходимо выполнить ряд запросов к Яндексу:

1.            Определяем сайты, которые находятся  в топ 10 Яндекса по выпавшему запросу.

2.            Задаем Яндексу запрос

запрос<< (url="siteN.ru"|url="siteA.ru"),

где: siteA.ru – главное зеркало сайта-аффилиата которого уже нет в выдаче по «запрос»у, а siteN.ru – первый, второй, …, N-й сайт в выдаче Яндекса по запросу. Запросы задаются до тех пор, пока сайт в выдаче не останется один – искомое найдено - siteN.ru и сайт siteA.ru находятся под фильтром аффилиатов.

Обязательное исключение – быстроробот. Если в выдаче наблюдаются оба сайта и один из них в базе быстроробота, однозначного вывода об аффилировании сайтов сделать нельзя.

 

В результате некоторых экспериментов по исследованию фильтра аффилиатов было установлено, что Яндекс достаточно долго не применяет фильтр даже для очень похожих между собой сайтов. С одной стороны это может свидетельствовать о достаточно осторожном применении Яндексом фильтра, исключающем его ложное срабатывание. С другой стороны длительное присутствие нескольких сайтов-аффилиатов в выдаче по одним и тем же запросам наводит на мысль об обязательном участии человеческого фактора при наложении фильтра. Фильтр оценивает не только адреса, телефоны, названия компаний, данные регистраторов и хостинг сайтов, но и совпадение ассортиментов, цен, описаний продукции.

Признаки аффилированных сайтов для Яндекса.

При определении «схожести» сайтов, можно сравнивать и учитывать такие данные:

·                    Данные регистраторов доменов: кто зарегистрировал домены, какие контактные данные были указаны при регистрации, насколько они совпадают. При совпадении адресов и/или телефонов регистраторов высока вероятность сайтов-аффилиатов даже если регистраторы разные.

·                    Сходная верстка сайтов может указывать на распространенную систему управления сайтом или шаблонный дизайн сайта. Подозрение могут вызвать сайты с похожим дизайном, которые сходны и по другим признакам.

·                    IP-адреса хостингов, на которых расположены сайты. Подозрительно, если сайты, подобные по многим признакам, еще и расположены на одном хостинге.

·                    Контактные данные, указанные на сайтах: при совпадении адресов, телефонов, почтовых индексов и других контактных данных на сайтах высока вероятность того, что сайты являются аффилиатами.

·                    Сходность ассортимента товаров и цен на разных сайтах. Многие торгуют одними и теми же популярными товарами, но значительное совпадение ассортиментов товаров и их цен у разных сайтов вызывает подозрение, что эти сайты являются аффилиатами.

·                    Сходность описаний разделов каталога и товаров (для интернет-магазинов). Описания товаров могут быть «позаимствованы» из других источников, а могут быть сформированы из общего каталога для «своих» сайтов-аффилиатов.

 

Как избежать ложного попадания под фильтр аффилиатов в Яндексе?

·                    Не создавать сайты-аффилиаты.

·                    Использовать уникальные данные регистратора домена.

·                    Реализация сайтов с разными системами управления контентом.

·                    Составление уникальных описаний товаров/услуг.

·                    Продвижение сайтов-аффилиатов по непересекающимся группам запросов, позволяет сайтам «жить» не мешая друг другу.