python实现简单爬虫百度首页,python爬虫爬取网站

import requests #导入requests模块#利用爬虫代码爬去百度首页#如果当前python文件作为入口程序执行时，则执行if语句下的代码if __name__=='__main__': # 指定URL url = 'https://www.baidu.com' # 进行UA伪装，模拟浏览器,注意要将相应的User-Agent封装在一个字典中 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0' } # 向服务器发起请求,get方法返回一个响应对象 response = requests.get(url=url, headers=headers) # 获取字符串类型的响应数据 page_text = response.text # 持久化存储，写入文件 with open('./baidu.html', 'w', encoding='utf8') as fp: fp.write(page_text) print('百度首页爬取成功!!!')