Как использовать фильтрацию по user-agent с помощью Anti-Crawler (Антипоисковик)

 

Мы расширили функции по работе с user-agents Для плагина Анти-Спам.  Возможности доступны только в плагине для WordPress. Чтобы включить фильтрацию по user-agent откройте настройки вашего плагина Анти-Спам:

Панель управленияWordPress -> Настройки -> Antispam by Cleantalk 

И включите опции SpamFireWall и Anti-Crawler (Антипоисковик):

 

Опция SpamFireWall

 

Затем расширенные настройки (Панель управленияWordPress -> Настройки -> Antispam by Cleantalk  Расширенные настройки) и включите Блокировать ботов по User-Agent:

 

Filter UA option

 

Вы можете увидеть user-agent в ваших Журналах SpamFireWall после того как Антипоисковик заблокирует запрос. С помощью кнопки "В персональные списки" вы можете добавить user-agent в ваши персональные списки.

Обратите внимание, что добавит можно только user-agent, который прописан в нашем списке. Google bot и Bing bot всегда разрешены, вы не можете добавить их в свои списки.

 

Журналы SpamFireWall

 

Управлять списками user-agentов можно здесь. Нажмите "Добавить новый фильтр" и выберите тип User-Agent:

 

Фильтр User-agent

 

Затем выберите агента из выпадающего списка и добавьте его в белый или чёрный список:

 

Список User-agent

 

Список всех доступных User-Agent:

  • AhrefsBot
  • Akamai crawler
  • Alexabot
  • Applebot
  • archive.org_bot
  • AspiegelBot - HuaweiWebCatBot
  • Babbar.tech (Barkrowler)
  • Baidu
  • Better Uptime Bot
  • Bing
  • CleanTalk Uptime bot
  • CloudFlare crawler
  • DuckDuckGo
  • FacebookBot
  • Google
  • GTmetrix
  • HuaweiWebCatBot
  • Mail.ru
  • Majestic MJ12bot
  • Meetedgar.com
  • Petalbot
  • Pingdom.com bot
  • Pinterest bot
  • Printful WooCommerce Integration
  • Rambler bot
  • Rogerbot - MOZ.com
  • Screaming Frog SEO Spider
  • Semrush
  • SEOkicks-Robot
  • serpstatbot
  • Seznam
  • ShipStation
  • ShortPixel Image Optimizer
  • Site24x7
  • Sitechecker
  • sogou spider
  • Wikipedia crawler
  • wordoftravel
  • WP Engine Smart Plugin Manager
  • Yandex

Эти User-Agent задаются системой и не могут быть добавлены в персональные списки:

  • Baidu
  • Bing
  • CleanTalk
  • Google
  • Yandex

 


Perhaps it would also be interesting