scrapy爬虫框架用来干嘛,scrapy网络爬虫

在应用爬虫的时候我们经常会遇到ip被封的情况，这样我们想要的数据就不能及时下载下来，那么怎么办呢？当然是使用代理ip了，下面来看看scrapy中怎么使用代理ip。
一、开放代理

import randomclass IpProxyDownloadMiddleware(object): ''' 定义代理ip的类,这是开放代理的应用 ''' PROXIES = [ '182.111.64.8:53364' ] def process_request(self, request, spider): proxy = random.choice(self.PROXIES) request.meta['proxy'] = proxy

二、使用独享代理

import base64class IpProxyDownloadMiddleware(object): ''' 独享代理ip的应用方法，需要解码 ''' def process_request(self, request, spider): proxy = 'ip:端口' user_password = '用户名:密码' request.meta['proxy'] = proxy b64_user_password = base64.b64encode(user_password.encode('utf-8')) request.headers['Proxy-Authorization'] = 'Basic' + b64_user_password.decode('utf-8')

以上所有的代码都在middlewares.py中应用，然后在settings.py里面调用相应的类就可以了。

三、scrapy代码：

import scrapyimport jsonclass IpSpiderSpider(scrapy.Spider): name = 'ip_spider' allowed_domains = ['http_wwdfn.org'] start_urls = ['http://http_wwdfn.org/ip'] def parse(self, response): origin = json.loads(response.text)['origin'] print('=='*20) print(origin) print('=='*20) yield scrapy.Request(self.start_urls[0],dont_filter=True)

然后启动scrapy就可以了，打印出的结果就是已经更改的ip