爬虫中数据的分类：结构化数据（json,xml等）处理方式是直接转化为python类型，jsonpath,xpath,bs4等.
非结构化数据（HTML）处理方式是正则表达式，xpath，bs4等.
数据提取之json: json是一种轻量级的数据交换格式，他使得人们很容易的进行阅读和编写，同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台直接的数据交互。以下举例。
import jsonmydict = { "store":{ "book":[ {"category":"reference", "author":"Nigel Rees", "title":"Saying of the Century", "price":8.95 }, {"category":"fiction", "author":"Evelyn Waugh", "title":"Sword of Honour", "price":12.09 }, ], }}# json．dumps 实现python类型转化为json字符串# indent实现换行和换格# ensure_ascii = Flase 实现让中文写入的时候保持为中文json_str = json.dumps(mydict,indent=2,ensure_ascii=False)print('json.dumps python_type-->json_str: {}'.format(type(json_str)))# json.loads 实现json字符串转化为python的数据类型my_dict = json.loads(json_str)print('json.loads json_str-->python_type: {}'.format(type(my_dict)))# json.dump 实现把python类型写入类文件对象with open("json模块示例文件.txt", "w") as f: json.dump(mydict, f, ensure_ascii=False, indent=2)input('json.dump 已成功写入文件')# json.load 实现类文件对象中的json字符串转化为python类型with open("json模块示例文件.txt", "r") as f: my_dict = json.load(f) print('json.load 读取文件--> {}: {}'.format(type(my_dict), my_dict))jsonpath介绍： 用来解析多层嵌套的json数据;JsonPath 是一种信息抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括：Javascript, Python， PHP 和 Java。
jsonpath 对于 JSON 来说，相当于 XPath 对于 XML。
我们以拉勾网城市JSON文件 http://www.lagou.com/lbs/getAllCitySearchLabels.json 为例，获取所有城市的名字的列表，并写入文件。
import requestsimport jsonpathimport json# 获取拉勾网城市json字符串url = 'http://www.lagou.com/lbs/getAllCitySearchLabels.json'headers = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"}response =requests.get(url, headers=headers)html_str = response.content.decode()# 把json格式字符串转换成python对象jsonobj = json.loads(html_str)# 从根节点开始，获取所有key为name的值citylist = jsonpath.jsonpath(jsonobj,'$..name')# 写入文件with open('city_name.txt','w') as f: content = json.dumps(citylist, ensure_ascii=False) f.write(content)数据提取之正则
正则：用事先定义好的一些特定字符、及这些特定字符的组合，组成一个规则字符串，这个规则字符串用来表达对字符串的一种过滤逻辑。
正则表达式常见用法：
re模块常见方法：
re.match（从头找一个）re.search（找一个）re.findall（找所有） 返回一个列表，没有就是空列表re.findall("d","chuan1zhi2") >> ["1","2"]re.sub（替换）
re.sub("d","_","chuan1zhi2") >> ["chuan_zhi_"]re.compile（编译，提升匹配速度）
返回一个模型P，具有和re一样的方法，但是传递的参数不同匹配模式需要传到compile中
p = re.compile("d",re.S)p.findall("chuan1zhi2")