最近在学爬虫,一步一步来,也算记录一下自己的学习过程,适合有一定python基础的同学
request库需要先下载一下request库
打开cmd,输入命令 pip install requests
直接上马!
import osimport requestsheaders = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36'}def Getbaidukeyword(word,pathdir): url_action = 'https://www.baidu.com/s?' data = {'wd': word,} response = requests.get(url_action, params=data, headers=headers) response.encoding = response.apparent_encoding filename = pathdir+"/"+word+"1.html" with open(filename, 'wb') as f: f.write(response.content)path = r"C:UsersxxxDesktop爬虫给爷爬"Getbaidukeyword("猛男",path)这是个非常简单的爬虫 headers 是用户代理,简单来说就是利用这个 headers来模拟浏览器请求
因为不用这个的话,对方很轻易就知道你是爬虫,不想让你爬,所以需要伪装一下。
有的同学可能会有问题:"user-agent后面的内容是怎么来的?"
你可以直接用上面的,也可以去网上查,链接发了:
User-Agent大全_Jamesaonier的博客-CSDN博客
还有个方法也是我比较推荐的方法就是自己去看一下,我们举个例子
随便找个网页(因为本文章做的是爬百度的所以就拿百度举例)
打开谷歌浏览器 -->F12控制台-->点击network 抓个包如果没有内容就刷新一下网页-->然后再headers中找到 user-agent
因为我们用的是谷歌浏览器 所以这个ua就是谷歌的。
中间的都很好理解
path = “”的路径可以提前创建 也可以加入下面的代码
if not os.path.exists(i): os.mkdir(r'C:Usersxxx')使用起来就很简单了 上文爬的猛男! 如果想爬别的就把猛男换成你想爬的内容就好了。
大家可能会疑问,例如感觉这爬虫为什么要这么做,直接去百度搜一下不就行了吗,爬虫这么做不是更麻烦? 其实这只是个简单的爬虫,让大家简单理解一下基本的原理和作用,爬虫的妙处是很多的!