scrapy代理中间件,scrapy ip代理池

class RandomProxyMiddleware(object): #动态设置ip代理 def process_request(self, request, spider): get_ip = GetIP() request.meta["proxy"] = get_ip.get_random_ip()

类似格式：

request.meta["proxy"] = 'http://103.102.237.129:53281'

如图，在middlewares 中设置好，然后在settings中开启该middlewares即可。前提是在独立脚本中已经写好获得ip的类：GetIP