使用爬虫类时,如果访问网站需要很高的频率和很长时间,为了避免自己的ip被对方屏蔽,使用代理ip。 那么,如何分辨使用的是什么样的代理呢?
我们可以通过header来区分
1 .未使用代理服务器
REMOTE_ADDR=我的真实IPHTTP_VIA=没有数值,或HTTP_X_FORWARDED_FOR=没有数值或不显示2 .透明代理服务器(transppart )
REMOTE_ADDR=最后一个代理服务器IPHTTP_VIA=代理服务器IPHTTP_X_FORWARDED_FOR=自己的真实IP。 如果通过多个代理服务器,则此值可能如下: 118.155.8.45,158.188
REMOTE_ADDR=最后一个代理服务器IPHTTP_VIA=代理服务器IPHTTP_X_FORWARDED_FOR=代理服务器如果通过多个代理服务器,则此值将为119.188.68.169、119.119
4 .使用非法代理服务器(Distorting Proxies )
REMOTE_ADDR=代理服务器IPHTTP_VIA=代理服务器IPHTTP_X_FORWARDED_FOR=如果是随机IP,并且通过多个代理服务器,则此值可能如下所示3.6.9.12、119.188.68。
此类代理服务器隐藏了真实IP,但是向访问对象透露了您是使用代理服务器访问他们的。
5 .使用高匿名代理服务器(highanonymityproxies ) (eliteproxies ) ) ) ) )。
REMOTE_ADDR=代理服务器IPHTTP_VIA=数字缺失,HTTP_X_FORWARDED_FOR=数字缺失或不显示。 如果通过多个代理服务器,则此值可能如下: 119.188.68.169、119.189
以上是识别代理的方法
如无特别说明,文章均为本台原创,转载请注明出处
本文链接: https://blog.csdn.net/wsad 861512140