Как использовать фильтрацию по User-Agent с помощью Anti-Crawler (Антипоисковик)
Мы расширили функции по работе с User-Agents для плагина Анти-Спам. Возможности доступны только в плагине для WordPress. Чтобы включить фильтрацию по User-Agent, откройте настройки вашего плагина Анти-Спам:
Панель управленияWordPress -> Настройки -> Anti-Spam by CleanTalk
И включите опцию SpamFireWall:
Затем расширенные настройки (Панель управления WordPress —> Настройки —> Anti-Spam by CleanTalk —> Расширенные настройки) и включите опцию Anti-Crawler (Антипоисковик):
Вы можете увидеть User-Agent в ваших Журналах SpamFireWall после того как Антипоисковик заблокирует запрос. С помощью кнопки "В персональные списки" вы можете добавить User-Agent в ваши персональные списки.
Обратите внимание, что добавит можно только User-Agent, который прописан в нашем списке. Google bot и Bing bot всегда разрешены, вы не можете добавить их в свои списки.
Управлять списками User-Agent'ов можно здесь. Нажмите "Добавить новый фильтр" и выберите тип User-Agent:
Затем выберите агента из выпадающего списка и добавьте его в белый или чёрный список:
Список всех доступных User-Agent:
- admantx.com
- AhrefsBot
- Akamai crawler
- Alexabot
- Amazonbot
- AndiBot
- Applebot
- archive.org_bot
- AspiegelBot - HuaweiWebCatBot
- Babbar.tech (Barkrowler)
- Baidu
- Better Uptime Bot
- Bing
- Bravebot
- BrightLocalBot
- CleanTalk Uptime bot
- CloudFlare crawler
- DuckDuckGo
- FacebookBot
- FeedBurner
- Feedly Fetcher
- FreshpingBot
- Grapeshot
- GTmetrix
- GumGum-Bot
- HuaweiWebCatBot
- Hypefactors
- KomoBot
- Lighthouse
- Mail.ru
- MailChimp
- Majestic MJ12bot
- Meetedgar.com
- MirrorWeb
- Petalbot
- PhindBot
- Pingdom.com bot
- Pinterest bot
- Printful WooCommerce Integration
- proximic
- Qwant Web crawler
- Rambler bot
- RankMathApi
- RapidLoad (rapidload.io)
- Rogerbot - MOZ.com
- Screaming Frog SEO Spider
- Semrush
- SEOkicks-Robot
- serpstatbot
- Seznam
- ShipStation
- ShortPixel Image Optimizer
- Site24x7
- Sitechecker
- sogou spider
- StatusCake
- Sucuri Uptime Monitor
- UptimeRobot.com
- WaldoBot
- Wikipedia crawler
- WooCommerce API
- wordoftravel: Find Travel Blogs and Explore Destinations
- WP Engine Smart Plugin Manager
- WP Rocket
- WPCompress
- Yandex
- YouBot
Эти User-Agent задаются системой и не могут быть добавлены в персональные списки:
- Baidu
- Bing
- CleanTalk
- Yandex
Если у вас есть вопросы о CleanTalk, то, пожалуйста, создайте приватное обращение здесь:
https://cleantalk.org/my/support/open
It would also be interesting
- Anti-Flood and Anti-Crawler(Bot Protection) for WebSItes by CleanTalkStop Bad Bots from Slowing Down Your Website CleanTalk Anti-Crawler(Bot Protection) CleanTalk Anti-Flood Try...
- User-Agent Filtration with Anti-CrawlerFiltration by User-Agents in the Anti-Crawler Option We've extended the feature for working with...
- CleanTalk Anti-Flood and Anti-Crawler – WordPress Bot Protection PluginStop Bad Bots from Slowing Down Your Website Bad bots can quietly eat up your server power, slow down...