首页 > 编程知识 正文

Scrapy 调用讯代理动态转发BUG 解决,用注解开发动态代理

时间:2023-05-06 10:52:40 阅读:243618 作者:3751

问题:最近找一些代理来使用 , 用到了讯代理的动态转发,使用requests能正常使用,但是使用Scrapy框架调用的时候,怎么都调用不了。异常是没有特定的头部信息,但是请求是

解决:先使用抓包工具,查看jjdxh出去的请求的头信息,发现是没有我添加的头部信息,先是觉得可能自己加错误了,但尝试几次,在几个可以添加header的地方都添加,结果是都不能,最后觉得应该是框架的锅。

然后在框架里面寻找发送请求的地方,找了好久,终于找到这几句:

发现框架是直接把这个参数删除,最后把这2行注释了,就可以正常访问了,

然后不知道这2行代码,具体作用,到git scrapy中查找,还真让我找到了

看的出来,这个参数应该在scrapy里面是没有用的,只是为了防止这个参数别发送到远程服务器端,特意删除的,就是我现在用的这种情况~~。完工,继续优化代码~

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。