您好,欢迎来到华拓科技网。
搜索
您的当前位置:首页修改配置nginx,无良爬虫频率

修改配置nginx,无良爬虫频率

来源:华拓科技网
#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;

#某个server中
 limit_req zone=anti_spider burst=30 nodelay;
 if ($http_user_agent ~* "xxspider|xxbot") {
 set $anti_spider $http_user_agent;
}

超过设置的限定频率,就会给spider一个503。
上述配置详细解释请自行google下,具体的spider/bot名称请自定义。


本文转自叶金荣51CTO博客,原文链接:http://blog.51cto.com/imysql/18797,如需转载请自行联系原作者

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- huatuo6.cn 版权所有 赣ICP备2024042791号-9

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务