Как использовать фильтрацию по User-Agent с помощью Anti-Crawler (Антипарсер)
В плагине Анти-Спам для WordPress возможна фильтрация доступа к сайту ботов по User-Agent. Чтобы включить ее, откройте настройки вашего плагина Анти-Спам:
Панель управления WordPress → Настройки → Anti-Spam by CleanTalk → Расширенные настройки
И включите опции SpamFireWall и Anti-Crawler:
В нашем сервисе составлен исчерпывающий список доверенных User-Agent'ов, запросы которых не будут блокироваться Anti-Crawler'ом. Если вы хотите каким-то из них закрыть доступ к сайту, у вас есть возможность добавить их в персональные черные списки.
Для этого на странице персональных списков SpamFireWall нажмите "Добавить новый фильтр" и выберите тип User-Agent. Затем выберите агента из выпадающего списка и запретите его:
Список всех доступных User-Agent (спойлер)
- admantx.com
- AhrefsBot
- Akamai crawler
- Alexabot
- Amazonbot
- AndiBot
- Applebot
- archive.org_bot
- AspiegelBot - HuaweiWebCatBot
- Babbar.tech (Barkrowler)
- Baidu
- Better Uptime Bot
- Bing
- Bravebot
- BrightLocalBot
- CleanTalk Uptime bot
- CloudFlare crawler
- DuckDuckGo
- FacebookBot
- FeedBurner
- Feedly Fetcher
- FreshpingBot
- Grapeshot
- GTmetrix
- GumGum-Bot
- HuaweiWebCatBot
- Hypefactors
- KomoBot
- Lighthouse
- Mail.ru
- MailChimp
- Majestic MJ12bot
- Meetedgar.com
- MirrorWeb
- Petalbot
- PhindBot
- Pingdom.com bot
- Pinterest bot
- Printful WooCommerce Integration
- proximic
- Qwant Web crawler
- Rambler bot
- RankMathApi
- RapidLoad (rapidload.io)
- Rogerbot - MOZ.com
- Screaming Frog SEO Spider
- Semrush
- SEOkicks-Robot
- serpstatbot
- Seznam
- ShipStation
- ShortPixel Image Optimizer
- Site24x7
- Sitechecker
- sogou spider
- StatusCake
- Sucuri Uptime Monitor
- UptimeRobot.com
- WaldoBot
- Wikipedia crawler
- WooCommerce API
- wordoftravel: Find Travel Blogs and Explore Destinations
- WP Engine Smart Plugin Manager
- WP Rocket
- WPCompress
- Yandex
- YouBot
Важно! Запретить или разрешить User-Agent, не перечисленный в этом списке, возможности нет.
Эти User-Agent задаются системой и не могут быть запрещены персональными списками (спойлер)
- Baidu
- Bing
- CleanTalk
- Yandex
Если вы хотите добавить какой-либо User-Agent в список разрешенных, или у вас есть вопросы о CleanTalk, то, пожалуйста, создайте приватное обращение здесь:
https://cleantalk.org/my/support/open
Будет так же интересно
- Anti DDoS Lite. Защита от DDoS-атак и смягчение их последствийКак защитить свой сайт от DDoS-атак или ботов Anti-DDoS-Lite (приложение...
- Блокирование поисковых ботов по user-agentКак заблокировать ботов по User-agent Для чего блокировать...