首页 > 编程知识 正文

爬虫用什么代理好,爬虫如何知道代理成功

时间:2023-05-03 06:37:02 阅读:161495 作者:358

http://www.Sina.com/http://www.Sina.com /

【1】定义:将网络的IP地址代替你的原始IP地址进行对接【2】角色:隐藏自己的真实IP,输入代理参数-proxies

【1】代理IP站点的快速代理、全网代理、代理向导、【2】参数类型proxies={ '协议' : '协议://iii

使用定义及分类测试是否可用:

#使用免费普通代理IP访问测试站点:3358 http bin.org/getimportrequestsurl=' 3358 http bin.org/访问get'headers={'user-agent'3360 '的代理IP站点上免费代理IP proxies={ ' http ' http://182.116.239.373360999

我们执行这个代码的话,肯定会被报告。 并不是所有的IP地址都有效,所以会报告错误

普通代理

我们使用了名为普通代理 - 示例的网站的IP地址。 我们花钱购买了IP地址,正在运行测试代码。 但是,我不在这里买。 如果有需要的自己去网上购买和使用快代理中的免费IP地址IP地址,在这里测试你购买的IP地址是否能用

“”建立开放代理代理代理ip池的“”importrequestsclassproxypool 3360 def _ init _ (self ) : # api_url地址。 请注意,这是购买快速代理ip地址后的地址。 填写orderid=99955248138592 num=20 protocol=2method=2an _ ha=1sep=1' #要测试其IP地址可用性的站点self.test _ URL=' 33530 x64 )苹果WebKit/537.36 (khtml, like Gecko ) chrome/85.0.4183.83 safari/537.36 ' } defget _ proxy (self ) 3360 headers=self.headers.text # pre . ]proxy_ n ' )如果forproxyinproxy _ list : # proxy是self.test_proxy(proxy ) deftest_proxy ) self, proxy(3360 () )、https ) : ) : )、format(proxy )、https ) : )、 )如果被测试为不可用,他将报告错误下一个可用的也是try : resp=requests.get (URL=self.test _ URL,proxies=proxies, 不会无法测试headers=self.heelf ) timeout=3) if resp.status _ code==200: # (033 )这是字体价格加上print(proxy )、 “((033(31m可用) 033 (033 (0m ') else3360prinnt '不可用') exceptexceptionase : print (proxy,'不可用' ) defrun ) self ) self”333333330

【1】语法结构proxies={ '协议' : '协议://用户名:密码@IP:端口号' }【2】示例proxies={ ' http ' : ' 3360 ' 3360

importrequestsurl=' http://http bin.org/get ' proxies={ ' http ' : ' 3358309435365: szayclhp @ 106.75.71.1441 ' https ' https://309435365360 ' szayclhp

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。