我们在写Python爬虫的时候，可能会遇到网站拒绝访问等反爬手段。 例如，如果尝试以这种方式获取蚂蚁短租赁数据，则会显示“当前访问被怀疑是黑客行为，并配置为被站点管理员拦截”的提示，如下图所示。 这个时候，需要设置饼干爬上去。 详细说明。 感谢我的学生承峰提供的思想。 后浪推前浪啊。
一.网站分析和爬虫拦截
打开蚂蚁短租搜索贵阳市，会反馈如下图所示的结果。
可见，短租赁信息呈现出一定的规律分布。 如下图所示，这也是我们要爬的信息。
在浏览器中查看元素时，您会发现需要获取每个租赁信息的位置在dd/dd节点下。
很多人学习python，不知道该从什么开始学习。
很多人学习python，掌握基本语法后，不知道在哪里找案例做得好。
制作案例的人大多不知道如何学习更高级的知识。
那么，对于这三类人，我会为大家提供一个很好的学习平台，免费接收视频教程、电子书、课程源代码！QQ群：810735403
位置house名称位于divclass=' room-detailclearfloat '/div节点下，如下图所示。
接下来写一个简单的BeautifulSoup并爬上去。
--- coding : utf-8-- importurllibimportrefrombs4importbeautifulsoupimportcodecsurl=' 3358 www.Mayi.com/GUI ii map=no ' response=urllib.urlopen (URL ) contents=response.read ) ) soup=beautifulsoup ) contents，' html . 3360 fornameintag.find _ all (attrs={ ' class ' : ' room-detailclearfloat ' } ) 3360fname=name.find ) ' p '
二.设置饼干的BeautifulSoup爬行动物
添加标头的代码如下所示。 这里列出代码和结果后，我会告诉你如何得到饼干。
#--编码： utf-8--导入urllib2importrefrombs4importbeautifulsoup #爬虫函数defgydzf (URL (: user _ agent=' mmm x64 ) appleWebKit/537.36(khtml， like Gecko ) chrome/51.0.2704.103 safari/537.36 ) headers={ '用户代理' 3336 } headers=headers (response=urllib2. urlopen ) request ) contents=response.read ) ) soup=beautifulsoup ) contents， ' html.parser ' (fortaginsoup.find _ all ) : # )短租赁名称fornameintag.find_all ) attrs={'class'3360 3360fname=name.find(p ) ).get_text ) ) print u'[ ) [短租赁名称] )、fname.replace((n )、 '').strip(#短租价格forpriceintag.find _ all (attrs={ ' class ' : ' moy-b ' } ) 3360string=price.find ) string ) fprice=fprice ) 033605 ) printu )、fprice.replaaance ' ' ).strip(# 评估和评论人数forscoreinname.find(ul ) ) : fs core=name.find (ul ).get_text ) ) print u'[ )短租金评估'').stririri
f'] print u'[网页链接]', urls.replace('n','').strip() urlss = 'http://www.mayi.com' + urls + '' print urlss #主函数if __name__ == '__main__': i = 1 while i<10: print u'页码', i url = 'http://www.mayi.com/guiyang/' + str(i) + '/?map=no' gydzf(url) i = i+1 else: print u"结束"输出结果如下图所示：
页码 1[短租房名称] 大唐东原财富广场--城市简约复式民宿[短租房价格] 298[短租房评分/评论/居住人数] 5.0分·5条评论·二居·可住3人[网页链接] /room/851634765http://www.mayi.com/room/851634765[短租房名称] 大唐东原财富广场--清新柠檬复式民宿[短租房价格] 568[短租房评分/评论/居住人数] 2条评论·三居·可住6人[网页链接] /room/851634467http://www.mayi.com/room/851634467 ... 页码 9[短租房名称] 【高铁北站公园旁】美式风情+超大舒适安逸[短租房价格] 366[短租房评分/评论/居住人数] 3条评论·二居·可住5人[网页链接] /room/851018852http://www.mayi.com/room/851018852[短租房名称] 大营坡（中大国际购物中心附近）北欧小清新三室[短租房价格] 298[短租房评分/评论/居住人数] 三居·可住6人[网页链接] /room/851647045http://www.mayi.com/room/851647045
接下来我们想获取详细信息
这里作者主要是提供分析Cookie的方法，使用浏览器打开网页，右键“检查”，然后再刷新网页。在“NetWork”中找到网页并点击，在弹出来的Headers中就隐藏这这些信息。
最常见的两个参数是Cookie和User-Agent，如下图所示：
然后在Python代码中设置这些参数，再调用Urllib2.Request()提交请求即可，核心代码如下：
user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) ... Chrome/61.0.3163.100 Safari/537.36" cookie="mediav=%7B%22eid%22%3A%22387123...b3574ef2-21b9-11e8-b39c-1bc4029c43b8" headers={"User-Agent":user_agent,"Cookie":cookie} request=urllib2.Request(url,headers=headers) response=urllib2.urlopen(request) contents = response.read() soup = BeautifulSoup(contents, "html.parser") for tag1 in soup.find_all(attrs={"class":"main"}):注意，每小时Cookie会更新一次，我们需要手动修改Cookie值即可，就是上面代码的cookie变量和user_agent变量。完整代码如下所示：
import urllib2import refrom bs4 import BeautifulSoupimport codecsimport csv c = open("ycf.csv","wb") #write 写c.write(codecs.BOM_UTF8)writer = csv.writer(c)writer.writerow(["短租房名称","地址","价格","评分","可住人数","人均价格"]) #爬取详细信息def getInfo(url,fname,fprice,fscore,users): #通过浏览器开发者模式查看访问使用的user_agent及cookie设置访问头（headers）避免反爬虫,且每隔一段时间运行要根据开发者中的cookie更改代码中的cookie user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36" cookie="mediav=%7B%22eid%22%3A%22387123%22eb7; mayi_uuid=1582009990674274976491; sid=42200298656434922.85.130.130" headers={"User-Agent":user_agent,"Cookie":cookie} request=urllib2.Request(url,headers=headers) response=urllib2.urlopen(request) contents = response.read() soup = BeautifulSoup(contents, "html.parser") #短租房地址 for tag1 in soup.find_all(attrs={"class":"main"}): print u'短租房地址:' for tag2 in tag1.find_all(attrs={"class":"desWord"}): address = tag2.find('p').get_text() print address #可住人数 print u'可住人数:' for tag4 in tag1.find_all(attrs={"class":"w258"}): yy = tag4.find('span').get_text() print yy fname = fname.encode("utf-8") address = address.encode("utf-8") fprice = fprice.encode("utf-8") fscore = fscore.encode("utf-8") fpeople = yy[2:3].encode("utf-8") ones = int(float(fprice))/int(float(fpeople)) #存储至本地 writer.writerow([fname,address,fprice,fscore,fpeople,ones]) #爬虫函数def gydzf(url): user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36" headers={"User-Agent":user_agent} request=urllib2.Request(url,headers=headers) response=urllib2.urlopen(request) contents = response.read() soup = BeautifulSoup(contents, "html.parser") for tag in soup.find_all('dd'): #短租房名称 for name in tag.find_all(attrs={"class":"room-detail clearfloat"}): fname = name.find('p').get_text() print u'[短租房名称]', fname.replace('n','').strip() #短租房价格 for price in tag.find_all(attrs={"class":"moy-b"}): string = price.find('p').get_text() fprice = re.sub("[￥]+".decode("utf8"), "".decode("utf8"),string) fprice = fprice[0:5] print u'[短租房价格]', fprice.replace('n','').strip() #评分及评论人数 for score in name.find('ul'): fscore = name.find('ul').get_text() print u'[短租房评分/评论/居住人数]', fscore.replace('n','').strip() #网页链接url url_dzf = tag.find(attrs={"target":"_blank"}) urls = url_dzf.attrs['href'] print u'[网页链接]', urls.replace('n','').strip() urlss = 'http://www.mayi.com' + urls + '' print urlss getInfo(urlss,fname,fprice,fscore,user_agent) #主函数if __name__ == '__main__': i = 0 while i<33: print u'页码', (i+1) if(i==0): url = 'http://www.mayi.com/guiyang/?map=no' if(i>0): num = i+2 #除了第一页是空的，第二页开始按2顺序递增 url = 'http://www.mayi.com/guiyang/' + str(num) + '/?map=no' gydzf(url) i=i+1 c.close()输出结果如下，存储本地CSV文件：
同时，大家可以尝试Selenium爬取蚂蚁短租，应该也是可行的方法。最后希望文章对您有所帮助，如果存在不足之处，请海涵~
在这里还是要推荐下我自己建的Python开发交流学习（qq）群:810735403，群里都是学Python开发的，如果你正在学习Python ，欢迎你加入，大家都是软件开发党，不定期分享干货（只有Python软件开发相关的），包括我自己整理的一份2021最新的Python进阶资料和高级开发教程，欢迎进阶中和想深入Python的小伙伴！