Боты из соц сетей в метрике

Информационный коронавирус в 2020 году

Ориентировочно в марте 2020 года у меня на сайте появилась нездоровая сетевая активность, которая была явно видна в метрике. Сразу невооруженным глазом было понятно что не могло взяться из ниоткуда вдруг по 30-60 человек из социальных сетей, которые ломились как обезумевшие на мой сайт каждые сутки нон стоп.

В метрике переходы фиксировались по источникам : твиттер, инстаграм, ютуб,одноклассники, мой мир, яндекс дзен, вк.

Поведенческие факторы плохие. При дальнейшей невооруженном осмотре увидел еще странности: нестандартное разрешение экранов устройств посетителей, которые вообще никогда не увидишь у реальных людей. При внимательном просмотре веб визора сомнений уже не осталось никаких. Движения выглядели явно как боты, но не как реальные люди.

В социальных сетях, с которых повалили массовые переходы на сайт у меня не было нигде никогда ни одной ссылки. Сам факт того, что пошло цунами посетителей из соц сетей на мой сайт, уже говорит о том, что такого быть не может. Залез в Яндекс и поискал информацию по этому поводу. Нашел массу постов на форумах и статьи на других сайтах о такой же проблеме. Симптоматика и даже время возникновения совпадали с моими один в один.

Подумал: «Ну ладно. Авось само пройдёт. Может какие-то нововведения от поисковых систем, какие-то новые фишки, которые наоборот помогут моему сайту продвинуться.

Время шло. К моему ужасу с течением времени мой сайт по своим позициям SEO стал жестко проваливаться. Провал пошёл по всем позициям в органической выдаче, что очень огорчало.

Почитав разные мнения в сети сомневался в целесообразности включения каких-то защит и файрволов. Дескать любые файрволы и блокировки могут негативно сказаться на моём SEO.

По метрике также видно то. что боты производят сбор контактных данных на постоянной основе. Сбор e-mail адресов и телефонных номеров, размещенных на сайте.

Борьба со злом. Как побороть хитрых ботов

Примерно уже через 5 месяцев позиции по SEO моего сайта с хорошего уровня достигли полного дна и терять уже было нечего.

Мои повторные письма в тех поддержку Яндекс давали нулевой результат. Меня вежливо посылали на Х… Дескать повлиять на внешних посетителей вы никак не можем.

Поиски решений в сети ничего не дали. Единственные варианты, которые нашёл это некие облачные файрволы, например cloude flare и т.п. Цена cloude flare была неадекватная, по крайней мере для России.

Нашёл в сети российский сервис botfaqtor.

Интегрировал нужный код ява скрипта для работы сервиса и для блокировки ботов.

На первый взгляд, сервис Bot Faqtor выглядит красиво, презентабельно, функционально.

В результате по факту паскудных ботов система вообще не опознала. Причём некоторых реальных посетителей на моём сайте система определяла ботами, хотя они ими не являлись, а

железобетонных ботов, которые прописывались в метрике по источникам соц сетей Бот Фактор вообще не опознал.

Стало совсем грустно.

Обратившись в техническую поддержку Яндекс получил ответ о том, что для усиления фильтрации и защиты от ботов нужно воспользоваться в настройках опцией.

В настройках метрики-фильтры, фильтровать роботов по строгим правилам и поведению.

Результат сего действия получился равен абсолютному нулю. Всё те же боты в том же объеме валили на мой сайт. С течением времени объем ботов увеличивался и в сутки мог доходить до порядка 60 посетителей.

От безысходности решил обратиться к хостеру. На удивление инженеры хостера предложили включить серверный файрвол, который блокирует всех посетителей, не использующих cookies и java.

В исключения включены наиболее известные поисковые и другие сервисы известные хостеру.

Понятно что данная мера является не особо хорошим решением, но деваться уже некуда.

После включения файрвола на сервере хостера через веб-сервер Nginx ситуация резко изменилась.

Боты резко перестали идентифицироваться по источниках из соц сетей и стали выглядеть как прямые входы или внутренние переходы.

Также стали определяться IP сети злосчастных коронавирусных гостей.

К моему удивлению все переходы шли конкретно из двух подсетей

  • 31.173.80.0/21
  • 178.176.64.0/19

Далее был вынужден идти на кардинальные меры и обрезал вход на сайт на данные подсети через файл htaccess на хостинге.

Для блокировки входа ботов с данных двух подсетей необходимо вначало файла htaccess добавить следующий код:

Order Allow,Deny
Allow from all
Deny from 31.173.80.0/21 178.176.64.0/19

В результате ни одного бота по метрике. Буду смотреть что будет дальше и как будут меняться позиции моего сайта в органической выдаче.

Спам-атака ботами на сайт. Чьих рук дело? Конкуренты, спамеры или кто-то еще?

Читая в сети обсуждения я так и не пришел к какому-либо точному и конечному выводу о том, кто занимается данным злом и с какой целью.

Кто-то пишет что это подсеть метрополитена Москвы. Пулы адресов относятся к провайдеру Мегафон. Действительно ли организованы вредоносные сервера, которые проводят данного рода спам-атаки или же это какая-то подмена адресов через прокси?

Очевидно что никто не борится с данного рода атаками и нормальных решений по этому поводу нет.

Предположения о целях данных бото-атак:

  • Умышленное воздействие конкурентов с целью ушатать мой сайт в органической выдаче по коммерческим запросам
  • Появилась некая преступная группировка в информационном поле, которая занимается атакой на сайты и параллельно сбором контактов с сайтом и составлением базы данных, по которой затем работают лохотронщики вымогатели. которые будут методом шантажа предлагать продвижение вашего сайта и предлагать решение вопроса о проблемах с SEO выдачей
  • Злоумышленники-шизофреники, целью которых является нанесение любого вреда как можно бОльшему количеству веб-сайтов, людей
  • Иные неясные мне цели. Откуда растут ноги и руки тех кто этим занимается хотелось бы узнать и оторвать им и руки и ноги.

Данная статья не является панацеей и не претендует на абсолютную истину. Размышления и наблюдения являются оценочными суждениям на основе объективных и субъективных данных.

Если вы располагаете полезной информацией об истинных источниках данного зла и о методах борьбы с этим злом, то пишите, пожалуйста, комментарии к статье. При поступлении интересных данных буду дорабатывать статью и дополнять. Всем спасибо!

Если вам необходимо сделать определение IP адресов посетителей в метрике, то об этом вы можете прочитать в статье Боты из соц сетей в метрике.

Неудачная попытка заблокировать ботов по рефереру

Нашёл в сети способ блокировки ботов через код в HTACCESS.

Данный код добавляется в HTACCESS на вашем хостинге

<IfModule mod_rewrite.c>

RewriteEngine on

## SITE REFERRER BANNING

RewriteCond %{HTTP_REFERER} ok.ru [NC,OR]

RewriteCond %{HTTP_REFERER} t.co [NC,OR]

RewriteCond %{HTTP_REFERER} vk.com [NC,OR]

RewriteCond %{HTTP_REFERER} youtube.com [NC,OR]

RewriteCond %{HTTP_REFERER} l.instagram.com [NC,OR]

RewriteCond %{HTTP_REFERER} facebook.com [NC,OR]

RewriteCond %{HTTP_REFERER} zen.yandex.ru [NC,OR]

RewriteCond %{HTTP_REFERER} click.my.mail.ru [NC,OR]

RewriteCond %{HTTP_REFERER} porndl.org [NC]

RewriteRule .* - [F]

# Options +FollowSymlinks

RewriteCond %{HTTP_REFERER} ok\.ru [NC]

RewriteCond %{HTTP_REFERER} vk\.com [NC]

RewriteCond %{HTTP_REFERER} youtube\.com [NC]

RewriteCond %{HTTP_REFERER} facebook\.com [NC]

RewriteCond %{HTTP_REFERER} zen.yandex\.ru [NC]

RewriteCond %{HTTP_REFERER} click.my.mail\.ru [NC]

RewriteCond %{HTTP_REFERER} l.instagram\.com [NC]

RewriteRule .* - [F] 

</ifModule> 

Фокус не получился в моём случае не знаю почему. При применении данного кода у меня вообще сайт перестал нормально работать. Постоянно выпадала 403 ошибка на ровном месте. Иногда сайт либо не открывался при обычном на него входе. Во время любых операций тоже выпадала 403 ошибка.

Тех поддержка пожала плечами, ничем не помогла.

В общем от этого способа мне пришлось отказаться. Используемая версия PHP у меня на хостинге 7.1

Блокировка ботов по IP привела к тому что в итоге даже яндекс робот не смог попасть на сайт.

Существует платный сервис CloudFlare, но цена дикая. Вообщем бесплатного решения я так и не нашел.

Вопрос открыт

Оставьте комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Пролистать наверх