Статьи

Защита от угона сайтов через hreflang

В СНГ уже с пол года или более «угоняют» сайты. Мы практически не работаем с РУ сегментом, и поэтому нас это не особо касалось. 3 недели назад наши паблишеры забили тревогу, когда увидели в выдаче под Австралию по самым конкурентным запросам в топ1-3 «ноунейм» домены без единой входящей ссылки. Жара началась неделю назад, когда одного из наших топовых паблишеров начали атаковать. Пришлось вникать в проблему и искать пути решения.

Каждый день появляется и подтверждается много интересной информации о том, кто это делает и кто с кем аффилирован. Но сегодня не об этом. Мы связались с партнерками, на которые льют эти деятели и убедили большую часть из них больше не работать с данными угонщиками. Также они обещали не выплачивать уже накопившиеся деньги. Мы продолжаем работать в данном направлении.

Эффективность угона в бурже

Не смотря на всю панику, есть мнение, что на западном SEO это не очень-то работает. Похоже на западе без банов РКН домены стреляют как дорвеи, но быстро угасают.

По названию домена Google его уже не выдает. По ключам в Google также уже не ранжируется.

Поэтому в бурже, вероятно, бояться нечего и хаос отменяется. По крайней мере, я еще не видел ни одного угнанного сайта, который закрепился бы в серпе. Если есть такие — скидывайте. Но все же сборник рекомендаций по защите ниже.

Из странностей, которые так и не получилось разгадать:

Защита от угона

Вся информация собрана по крупицам из открытых источников и приватных чатов. За помощь в поиске возможных способов борьбы с угоном хочу поблагодарить: Дмитрий СохачДмитрийTargetSEO. Часть информации также была взята с канала Бабло побеждает зло!

1. На всех страницах поставить правильный canonical.

2. Для всех значимых стран, с которых вы не хотите потерять трафик установите правильный hreflang. Если у вас нет разных версий страниц под разные страны, то везде указывайте исходную страницу.

Для кодов языков используйте ISO 639-1 codes, для кодов стран ISO 3166-1 alpha-2.

3. Установить x-default hreflang для всех остальных стран.

4. Продублировать в sitemap.xml все hreflang.

Это может показаться избыточным. Но «копировальщики» предположительно угоняют сайты прописывая левые hreflang в своих sitemap.xml. Карты сайта найти проблематично, т.к. они могут иметь любые имена. Скормить их можно напрямую в Google Search Console и ни кто кроме владельца сайта и гугла не будет знать об их расположении. А если прочтете эту статью, то узнаете что:

  • Со слов Джона Мюллера Google объединяет сигналы hrefland из HTML и Sitemap.
  • Если сигналы не синхронизированы друг с другом, например в hreflang на странице указана определённая региональная версия, и та же директива присвоена другой странице в Sitemap, то системы Google попытаются угадать, какую директиву использовать, или же пропустят эти сигналы.

Иными словами реакция Google на конфликтующие hreflang в вашем HTML и Sitemap «угонщика» не предсказуема.

5. Привязать сайту регион в Google Search Console и каждой региональной папки, которая у вас существует.

6. Залить на сайт js, который будет пинговать в случае угона сайта. «Угонщики» просто копируют сайт включая js, поэтому необходимо написать простенький скрипт, который будет алертить, если вызов был с другого домена.

7. Как только скрипт заалертил, сразу же в DMCA подавать жалобу на копирование. И делать это каждый день.
Т.е важно, чтобы Google через DMCA завернул сайт до того как он соберет траст. Учитывая, что они копируют все, включая картинки и контент — это не сложно.

8. Как только появляются клоны, помимо DMCA, сразу заливать их через GSA/Xrumer порно анкорами. Или если бюджет позволяет держать сапу заряженной. В общем максимально стараться завалить траст конкурента. Также можно ботовый трафик на них заливать с отказами

9. Есть основания полагать, что сайты парсят через кэш Google, соответственно следующим действием необходимо запретить Google кэшировать страницы.

<meta name="robots" content="nocache">
<meta name="robots" content="noarchive">

Так же можно указывать метатеги для конкретных ботов

<meta name="googlebot" content="noarchive">

Читайте справку: тут и тут.


10. Поменять контент на главной и на посадочных страницах + тайтлы и описания. Можно добавить новых страниц.

11. Поменять урлы страниц и главной.

12. Наваливать кучу трафика и ссылок на свой сайт, чтобы перебить траст дропа, которым вас скопировали. Не забывать индексировать купленные ссылки

13. Максимально быстро переиндексировать все изменения. Можно использовать: gindex.meadd-url.info@wmaster_bot, а так же Indexing API.

Защита от проксирования

Еще один способ угона сайтов. Проксирование сайта — это когда в реальном времени ваш сайт «копируется»/стримится в реальном времени на новый домен. Опустим подробности угона данным методом и остановимся на защите.

Если на сервере 1 сайт добавлен, и для него в nginx не прописан параметр ServerName или в Apache вообще отсутствует параметр, то возможно проксирование сайта.

Соответственно для лечения необходимо не забыть установить ServerName.

Андрей Щеглов SEO Team Lead

2021-04-09