Как убрать ботов на сайте | Анатомия поведенческих ботов

Разработкой поведенческих ботов, задействованных в черном SEO занимаются талантливые специалисты высочайшего уровня.

Для того, чтобы понять как убрать ботов на сайте, нужно проводить полный анализ анатомии поведенческих ботов и собрать полную картину их технических возможностей и их эволюции.

На сегодняшний день поведенческие боты крайне сильно эволюционировали. По злой иронии судьбы массовый всплеск и массовая сетевая активность поведенческих ботов, живущих и по сей день на большом количестве сайтов совпала с появлением и распространением пандемии коронавируса.

Создатели системы поведенческих ботов обладают черным чувством юмора. На самом деле есть и объективные причины зарождения и массового распространения ботнет системы по всем ресурсам рунета. К объективным причинам возникновения новых, продвинутых поведенческих ботов относятся :

  • Падение экономики и падение реального спроса на рынке как на услуги на и на товары
  • Ухудшение экономической ситуации на всех уровнях бизнеса мелкого и среднего звена
  • Усиление и ужесточение конкуренции. Обострение борьбы конкурентов за выживание
  • Усиление общего негатива социума и , как следствие, усиление негативного трафика в рунете

Что умеют поведенческие боты на сегодняшний день

Подделывание цифрового отпечатка fingerprint / footprint

Подделывание уникального цифрового отпечатка fingerprint / footprint поведенческими ботами на сайте. Это главная техническая возможность поведенческих ботов, благодаря которой они обходят поисковый алгоритм Яндекса. Современный Яндекс в большей степени построен на таком фундаменте как Крипта и тому подобное. Системы, производящие сбор данных по всем пользователям рунета с целью слежения за пользователями, сегментации и таргетирования аудитории, анализ истории жизни каждого пользователя и глобальная аналитика на основе множества собираемых данных.

С помощью данных систем, входящих в основу поискового алгоритма Яндекс и в основу механики работы таргетированной рекламы Яндекс директ, например, правоохранительные органы высокого уровня, такие как Федеральная служба безопасности, отслеживают преступников в сети интернет.

Почему подделывание уникального цифрового отпечатка является фундаментальным фактором? Потому что подделать уникальный цифровой отпечаток равнозначно подделыванию и созданию нового псевдочеловека с чистой историей. Эту историю генерируемых псевдолюдей, поведенческих ботов, комплексная ботоводная система может написать так, как это необходимо. Ботоводная система может путем хождения созданными ботами по определенным маршрутам, делать определенные действия и завершать свой путь на определенных ресурсах. Таким образом ботоводная система работает на пессимизацию группы конкурентов в определенных сегментах и на продвижение избранных заказчиков.

Динамическая смена IP, глобальная маршрутизация IP адрессации

Динамическая смена IP адрессации поведенческими ботами при входе на сайт. Динамическая маршрутизация IP адресов ботов через региональный координационный центр.

В ботоводной системе используются выделенные сервера с динамическими мобильными IP пулами, а также сервера с RIPE NCC.

География и динамика IP пулов колоссальная. Диапазон сетей, в которых живут поведенческие боты варьируется от всей России до всего мира. Здесь играют роль технические возможности VDS сервера, который берется в аренду злоумышленниками / черными сеошниками для установки и использования уже своего ПО, которое они устанавливают на VDS сервера.

Подделывание реферреров

Подделывание рефереров поведенческими ботами на сайте является одной из особенностей и технических возможностей современных ботов.

Поведенческие боты могут подделывать источник перехода referer, тем самым имитируя трафик из определённых ресурсов на атакуемый сайт.

Системы аналитики определяют поддельные рефереры и учитывают этот трафик. Наиболее сложной ситуацией является алгоритм поведенческих ботов, который после блокировки первой партии поддельных referer, автоматически генерирует новые. Генерация поддельных значений referer происходит с учетом базы данных парсинга реально существующих сайтов. Таким образом бото входы на сайт производятся якобы с реально существующих сайтов и этот набор источников referer автоматически меняется на новые при блокировке предыдущих. В такой ситуации динамическая смена referer происходит со стороны бото сервера бесконечно и автоматизированно.

Как убрать ботов на сайте | Анатомия поведенческих ботов

Общая сводка при алгоритме подмены и автогенерации рефереров.

Как убрать ботов на сайте | Анатомия поведенческих ботов
Как убрать ботов на сайте | Анатомия поведенческих ботов
Как убрать ботов на сайте | Анатомия поведенческих ботов
Как убрать ботов на сайте | Анатомия поведенческих ботов
Как убрать ботов на сайте | Анатомия поведенческих ботов
Как убрать ботов на сайте | Анатомия поведенческих ботов

Динамическая смена алгоритмов работы поведенческих ботов на сайте

Динамическая смена алгоритма вида входа ботами на сайте происходит автоматизированно в случае попытки их блокировки.

Влияют ли поведенческие боты на SEO позиции сайта? На основе многолетней аналитики и анализа реальных веб-ресурсов в 100 % случаев и 100 поведенческие боты однозначно негативно повлияли на SEO сайта. Проекты, которые своевременно не стали производить комплексную ликвидацию ботов на сайте и отказались от защиты и фильтрации своего трафика, потерпели крушение своей органики, по завершению которого вернуть сайт на прежние позиции в большинстве случаев не удается.

Сколько восстанавливается сайт после того, как к нему прикрутились поведенческие боты? В таком случае SEO сайта не восстанавливается. Восстановление возможно только при полной ликвидации ботов и реанимации SEO, если боты были ликвидированы спустя долгое время их работы на сайте.

Обход сетевых файрволов ботами на сайте

Обход сетевых файрволов путём прямого обращения к IP вебсервера даже при прямой блокировке поведенческих ботов является одним из технологических доработок злоумышленниками, который сводит на нет даже самые серьёзные методы борьбы с бото атаками.

Некоторые из самых технически продвинутых алгоритмов и бото серверов производят обход самых серьёзных систем защиты даже при прямой блокировке. Обход сетевых файрволов производится путём выявления IP адреса веб-сервера, на котором находится атакуемый сайт жертвы. После выявления IP адреса веб-сервера, сетевая бото атака переходит на прямые подключения к веб-ресурсу по IP адресу веб-сервера. Прямое подключение по IP веб-сервера позволяет обходить защиту сетевых файрволов, фильтрация которых находится на стеке DNS серверов домена. При нормальной работе веб-сайта, весь трафик к нему поступает через DNS серверы, которые транслируют доменный адрес сайта в прямой IP адрес веб-сервера. Поведенческие боты, алгоритму которых удаётся выявить прямой IP ресурса могут переходить на прямой трафик минуя DNS серверы.

Как убрать ботов на сайте | Анатомия поведенческих ботов

Обход сетевых файрволов путём доступа к веб-серверу через прямой запрос вида http://77.777.777.77/~domen

где 77.777.777.77 это IP адрес вашего веб-сервера, а domen это домен вашего веб-сайта без указания зоны.

Обеспечение безопасности сайта и чистоты его трафика на сегодняшний день очень является сложным процессом, требующим постоянного участия специалиста в этой области.

Решение капчи / Обход капчи как нокаутирующий удар от поведенческих ботов вбивает один из тяжелых и крепких гвоздей в средства и системы защиты трафика на любом сайте. На сегодняшний день поведенческие боты умеют полностью насквозь проходить через :

  • Java заглушки всех типов от всех существующих разработчиков в любых вариациях. Ява заглушки против поведенческих ботов абсолютно неэффективны и проходятся на 100 % без каких-либо проблем. Наличие ява заглушки кроме того что не помогает против ботов, ещё и наносит серьезный вред сайту, блокируя большое количество реальных людей.
  • Google recaptcha V2. Проходится ботами насквозь
  • Google recaptcha V3. Обходится ботами полностью
  • HCaptcha. Механика и алгоритм данной капчи полностью взломан поведенческими ботами в 2021 году.

При применении какого-либо из вышеуказанного типа капч на сайте, поведенческие боты обходят и проходят насквозь любой из этих видов капчи. Трафик, который взламывает капчу и проходит на сайт отображается в метрике как внутренние переходы.

Аномальные всплески внутренних переходов на сайте могут свидетельствовать и взломе используемой для защиты сайта капчи.

Как убрать ботов на сайте | Анатомия поведенческих ботов

На вышеуказанной сводке можно увидеть реальный пример атакуемого поведенческими ботами сайта, который хозяин пытался самостоятельно спасти.

Все попытки и мучения собсвенника проекта оказались тщетными. Автоматический сервис, призванный автоматически определять поведенческих ботов не смог определить их никак, от слова совсем. Переходы, которые пытались блокировать напрямую, прошли через капчу насквозь, что можно увидеть по красной линии, которая показывает сквозные проходы поведенческих ботов через капчу в большом количестве.

Пессимизация SEO / органической выдачи ботами в поисковой системе яндекс

Несмотря на существование сторонников теории пользы ботов на сайте, фактически боты всегда пессимизируют поисковые позиции сайта.

Проблема точности определения воздействия ботов кроется в недостаточной компетенции тех, кто производит оценку качества трафика. Сложность алгоритмов ботов позволяет маскировать виды трафика и динамически перераспределять виды трафика в разных пропорциях между собой и динамически менять их с течением времени. В результате у недостаточно опытных и недостаточно компетентных людей в этом вопросе, которые оценивают ситуацию с трафиком сайта, может сложиться ложное впечатление пользы ботов. На самом деле боты, обрушая органический трафик сайта, могут плавно подменять органику бото трафиком, тем самым полностью вводя в заблуждение оценивающего трафик человека.

Для точности определения качества трафика нужен глубокий анализ и доскональное изучение ситуации и динамики трафика.

Как убрать ботов на сайте | Анатомия поведенческих ботов

На данном примере даже поверхностно видимая органическая выдача атакуемого сайта пессимизирована в 3 раза за пол года.

На множестве атакуемых сайтов всегда наблюдается прямая взаимосвязь пессимизации и работы поведенческих ботов на сайте. Исключений не бывает. Бывает некорректный анализ трафика и его валидности и человечности.

Компания Яндекс усугубила и усложнила ситуацию для веб-проектов, начав отключать влияние поведенческих факторов на сайты, на которых органические позиции уже были обрушены ранее. Таким образом, органическая выдача на большинстве проектов вообще перестала расти и была заморожена на одном месте. Тем временем Яндекс неспешно и невозмутимо продолжает проводить эксперименты, имитируя некую деятельность, которая направлена на исправление ситуации. В 2020 году кол мендежеры Яндекс, которые называются технической поддержкой (на самом деле ей не являются), дружно и весело всем давали однотипные ответы о том, что алгоритм Яндекс все знает, все умеет и от всего защищен. В 2021 году Яндекс на огромном количестве сайтов тупо отключил поведенческие факторы и выпустил новую систему определения поведенческих роботов в метрике, которая, как и следовало ожидать, ничего не определяет и равносильна тому, когда гангрену лечат зеленкой.

Качество трафика в глобальной сети не является компетенцией Яндекс и не нужно обвинять их в том, что они не занимаются наведением порядка когда идут массовые правонарушения в области информационной среды. Наведением порядка и чистоты должны заниматься правоохранительные органы, но это уже другая история.

Выпуск системы определения поведенческих роботов в 2012 году лишь железобетонно подтверждает тот факт, что в 2020 году Яндекс нагло лгал всем и не признавал наличие проблемы, а в 2021 году сам того не понимая признался в своей лжи и подтвердил что проблема была и есть и видимо будет в обозримом будущем. Почему никто не занимается решением вопроса? Потому что все заняты коммерцией и увеличением своих капиталов. Коммерческий яндекс директ стал теперь единственным способом получать клиентов. SEO уничтожено ботами. Ничего страшного. Яндекс от этого никак не страдает. Спасение утопающих — дело рук самих утопающих.

Как убрать ботов на сайте | Анатомия поведенческих ботов

Алгоритм пессимизации органической выдачи SEO сайта поведенческими ботами выстраивается с явным преобладанием сессий с малой длительностью.

В трафике поведенческих ботов преобладают сессии с длительностью не более 29 секунд. Интенсивность нагрузки меняется динамически.Трафик поведенческих ботов формируется с плавным распределением длительности сессий, маскируя негативный трафик. В основе алгоритма поисковой системы Яндекс лежит система глобального слежения за пользователями глобальной сети, использующая технологию определения уникальных цифровых отпечатков fingerprint / footprint. Поведеческие боты работают не по одному конкретному сайту, а по целой группе сайтов одной ниши, имеющих пересечения семантических ядер SEO. Поисковая система учитывает всю историю жизни каждого уникального отпечатка. Каждый новый вход поведенческого бота имеет чистую историю, которая строится по всему маршруту бота. Маршрут бота строится по группе конкурентов одной пересекающейся по SEO нише.

Таким образом, поведенческие боты прорабатывают группу смежных в органической выдаче сайтов, ранжирующихся по коммерческим поисковым запросам. Последние годы, которые насыщены рассветом чёрного SEO и распространения ферм с поведенческими ботами, компания Яндекс стала применять массовое отключение поведенческих факторов на целых сегментных группах сайтов. Это связано с борьбой Яндекса против черного SEO и против накруток поведенческих факторов. Этот факт значительно усложняет ситуацию для коммерческих игровой в органической выдаче, продвигающихся через SEO.

Как убрать ботов на сайте | Анатомия поведенческих ботов

Благодаря алгоритмической работе поведенческих ботов на сайте в глазах поисковой системы веб-ресурс становится нерелевантным. Львиная доля трафика имеет наименьшую глубину просмотра, что делает сайт в глазах поисковой системы низкокачественным и нерелевантным ресурсом. Кроме того, поведенческий бот после создания негативной картины по пессимизируемому сайту продолжает свой маршрут дальше по остальным сайтам конкурентной группы. Данный маршрут бота заканчивается качественной и позитивной сессий на продвигаемом черными методами SEO сайте, который накручивается.

Качество трафика до и после ликвидации поведенческих ботов на сайте

Как убрать ботов на сайте | Анатомия поведенческих ботов

Во время работы поведенческих ботов на сайте преобладает негативный трафик с малой длительностью сессии. Таким образом карма сайта в глазах поисковых систем становится негативной, ресурс становится нерелевантным и некачественным основываясь на поведении псевдо-людей, ботов.

После ликвидации поведенческих ботов на сайте качество трафика приходит в норму без аномалий с нормальным балансом длительности сессий и плавным распределением длительности и глубины просмотра.

Как убрать ботов на сайте | Анатомия поведенческих ботов

Аналогично длительности сессий поведенческие факторы в разрезе глубины просмотра во время работы поведенческих ботов на сайте и пессимизации органического SEO атакуемого сайта носит преимущественно негативный характер.Большая часть трафика с помощью ПФ ботов имеет минимальную глубину просмотра. После ликвидации поведенческих ботов на сайте глубина просмотра соответствует реальной релевантности сайта, качеству его контента и конкурентности ресурса по отношению к целевым посетителям и другим игрокам в данной коммерческой нише. До ликвидации ботов график говорит об отсуствии релевантности ресурса в глазах поисковой системы. Просто говоря во время присутствия и работы алгоритма ботов накрутчиков целевые посетители бегут с сайта в большинстве своем и уходят на сайт продвигаемого черным SEO конкурента.В правой части графика без ботов сайт имеет адекватный и реальный уровень глубины просмотра в соответствии с реальной картиной и реальным спросом на рынке на данный товар / услугу.

В левой части графика мы имеет некачественный и неконкурентный ресурс судя по поведенческим факторам. В правой части графика мы имеет релевантный, качественный и конкурентный ресурс. Сайт и его контент при этом никак не меняется. Меняется только наличие или отсутствие поведенческих ботов, которые проводят накрутку по алгоритму пессимизации данного сайта.

Прокрутить наверх