Опции Anti-Flood и Anti-Crawler от CleanTalk

CleanTalk SpamFireWall

SpamFireWall — дополнительная опция и модуль плагина CleanTalk Anti-Spam, которая блокирует доступ к веб-сайту с наиболее спам активными адресами (блокирует Get-запросы). Спам-боты блокируются брандмауэром веб-сайта до того, как они получат доступ к веб-сайту, это предотвращает загрузку страниц веб-сайта спам-ботами, поэтому вашему веб-серверу не нужно запускать все скрипты на этих страницах. Это может снизить нагрузку на базу данных и веб-сервер.
Если на вашем сервере используется Varnish, то SFW может влиять на скорость загрузки сайта, в этом случае вам необходимо отключить SFW в настройках плагина.

Anti-Flood и Anti-Crawler - это дополнительные опции SpamFireWall, предназначенные для блокировки нежелательных ботов, которые ищут уязвимости на сайте, собирают персональные данные, парсят контент, цены на товары или используются для агрессивного сканирования сайта.

При агрессивном сканировании сайта боты могут вызвать серьёзную нагрузку на сервер, при этом скорость работы сайта снижается, он начинает работать медленнее и поисковые системы могут снизить позиции сайта в поиске.

Если вам необходимо разрешить доступ для ботов, которые не входят в список исключений, вы можете использовать собственные белые списки, разрешающие любому IP-адресу посещать ваш веб-сайт.
Более подробная информация о белых списках находится здесь: https://cleantalk.org/help/sfw-blacklist-usage.
Блокировка ботов персональными списками по User-agent: https://cleantalk.org/help/filter-ua.

Более подробная информация по модулю SpamFireWall: https://cleantalk.org/help/cleantalk-spam-firewall.

CleanTalk Anti-Crawler

Первое посещение вашего веб-сайта с любого IP-адреса запускает проверку на наличие бота. Если проверка не пройдена, при следующей загрузке страницы веб-сайта посетителю будет отображен экран блокировки Anti-Crawler. Бот не сможет пройти проверку и покинуть страницу блокировки. Обычный посетитель будет перенаправлен на веб-сайт через 3 секунды.

Если проверка пройдена, посетителю больше не будет выдаваться экран блокировки (если он не будет менять браузер или устройство или заходить в инкогнито/приватном режиме браузера).
Если проверка провалена, экран блокировки будет выдаваться при всех дальнейших запросах, пока проверка не будет пройдена. Если в течение 24 часов не было запросов от этого посетителя, информация о нем очищается, следующий запрос вновь будет обработан по общим правилам.

Если есть ложные блокировки, тогда следует отключить опцию Anti-Crawler. Подобные проблемы могут возникать из-за куки-файлов на сайте или из-за кэширующих плагинов. Пожалуйста, выставите опцию "Устанавливать куки-файлы" на значение "Авто" или "Использовать альтернативный механизм для куки-файлов" и переключите опцию "Добавлять пиксель от CleanTalk для улучшения определения IP-адресов" на "Через JavaScript".

Поисковые боты, такие как Google, Bing, MSN, Yandex — не будут блокироваться, так как находятся в исключениях. Полный список доверенных ботов вы можете посмотреть здесь: https://cleantalk.org/help/filter-ua. Эти боты по умолчанию внесены в белый список, но вы можете изменить их статус для своего сайта и заблокировать выбранных ботов.

Anti-Crawler можно отключить для встроенного функционала WordPress Feeds (такие страницы будут исключены из проверки на спам), инструкция здесь:
https://cleantalk.org/help/anti-crawler-exclusion

Эта опция отключена по умолчанию, включить можно в настройках плагина: Панель управления WordPress → Настройки → Anti-Spam by CleanTalk → Продвинутые настройки → Anti-Crawler.

CleanTalk Anti-Flood

Предназначена для блокирования агрессивного поведения ботов. В настройках опции, вы задаете максимально возможное количество посещаемых страниц сайта за период времени. Если IP адрес посетил большее количество страниц за отведенный период времени, то ему плагин выдаст страницу блокировки. Страница блокировки показывается в течении 3 секунд и в течении этого времени, IP адрес не сможет открыть ни одну страницу сайта. По окончанию времени блокировки, он сможет продолжить посещение страниц и счетчик будет отсчитывать посещения заново. 

Как пример, по умолчанию выставлено значение 10 посещений в минуту, в этом случае любой IP-адрес, который откроет 10 страниц сайта в течение 1 минуты, будет заблокирован на 30 секунд без возможности посетить сайт в течение этого времени.

Вы можете установить свои собственные значения, сколько страниц сайта в минуту может посетить IP адрес, до блокировки. Настроить количество просмотров страниц вы можете в настройках плагина: Продвинутые настройки → Anti-Flood Page Views Limit.

Эта опция отключена по умолчанию, включить можно в настройках плагина: Панель управления WordPress → Настройки → Anti-Spam by CleanTalk → Продвинутые настройки → Anti-Flood.

Статистику блокировок для опций CleanTalk Anti-Flood и Anti-Crawler вы можете посмотреть в журнале SpamFireWall: https://cleantalk.org/my/show_sfw

Если у вас есть вопросы о CleanTalk, то, пожалуйста, создайте приватное обращение здесь:

https://cleantalk.org/my/support/open