网站上线后，经常遭遇恶意爬虫的频繁访问。它们抓取内容、扫描目录，大量占用Nginx进程和服务器带宽，导致CPU飙升、正常用户访问变慢。对于IDC环境，资源浪费更需警惕。
每个HTTP请求都会携带User-Agent（UA）字段，用于标识客户端类型。正常的搜索引擎爬虫（如百度、谷歌）会声明自己的UA。而恶意爬虫常常伪造UA，或使用已知的恶意UA标识。通过封禁特定UA，可以在请求进入应用前阻止访问。
宝塔面板提供Nginx防火墙插件，支持自定义User-Agent规则。在插件设置中添加需要封禁的UA关键字，即可全局生效。此方法简单直观，适合不熟悉配置的用户。
在宝塔面板的网站设置中，找到Nginx配置。在server或location块内添加判断语句，匹配UA则返回403。例如：
if ($http_user_agent ~* "badbot|scraper") { return 403; }
建议在测试环境验证规则，避免误封正常爬虫。
通过封禁恶意爬虫UA，可以显著减少无效请求，降低资源消耗，提升服务器稳定性。配合宝塔面板的监控功能，可观察资源变化。建议结合IP限制、频率控制等措施，构建多层防护。
企业微信
微信公众号
