首页 > 编程知识 正文

python爬虫教程,python3

时间:2023-05-04 13:13:05 阅读:32824 作者:2488

前言

由于互联网上的信息很多,可能需要关键字搜索才能快速轻松地找到所需的信息。 今天用搜索关键词实现爬糖网上相关美图,杜绝了基础学会的共同爬虫。 当然也可以实现多线程爬行器,加快爬行器的攀登速度

环境:

windows

pycharm

python3

导入模块

import urllib.parseimportjsonimportrequestsimportjsonpath确定目标的网址

分析URL=' https://www.dui Tang.com/napi/blog/list/by _ search/kw={ } start={ } '网站,确定攀登目标

label=' xh DBM ' label=urllib.parse.quote (label )发送请求并提取数据

num=0forindexinrange (0,2400,24 ) :u=URL.format ) label,index ) we_data=requests.get(u ).text型

HTML=JSON.loads(we_data ) photo=JSONpath.JSONpath ) html,' $.path ' )保存数据

foriinphoto : a=requests.get (I ) withopen (r ' c : (users (管理员桌面) tupian ) {}.jpg ) . wb ' ) ASF:f.write(a.content )二进制num=1Python感兴趣或正在学习的合作伙伴加入我们的Python学习按钮qun (85554088893,0基础Python 每天晚上,分享学习的方法和应该注意的细节,学习路线计划,利用编程赚钱。 点击加入我们的python学习圈

执行代码。 效果如下图所示。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。