今天小编遇到网友一个网站负载比较大,然后通过日志看到有乱七八糟的爬虫在抓取。如果我们需要设置的话,可以通过一些CDN前端过滤也是可以的,同时,我们可以用Nginx设置过滤爬虫,比如用到user_agent(UA)进行过滤。在这里简单的整理几个常用的UA过滤办法。
我们还可以针对特殊的UA进行过滤。
我们还可以利用UA过滤不同的设备跳转,这个就是我们很多时候在不同设备打开某些网站跳转不同的页面都用这个控制的。
今天小编遇到网友一个网站负载比较大,然后通过日志看到有乱七八糟的爬虫在抓取。如果我们需要设置的话,可以通过一些CDN前端过滤也是可以的,同时,我们可以用Nginx设置过滤爬虫,比如…
今天小编遇到网友一个网站负载比较大,然后通过日志看到有乱七八糟的爬虫在抓取。如果我们需要设置的话,可以通过一些CDN前端过滤也是可以的,同时,我们可以用Nginx设置过滤爬虫,比如用到user_agent(UA)进行过滤。在这里简单的整理几个常用的UA过滤办法。
我们还可以针对特殊的UA进行过滤。
我们还可以利用UA过滤不同的设备跳转,这个就是我们很多时候在不同设备打开某些网站跳转不同的页面都用这个控制的。