一般来讲对我们而言,需要抓取的是某个网站或者某个应用的内容,提取有用的价值。内容一般分为两部分,非结构化的数据和结构化的数据。
一类信息能够用数据或统一的结构加以表示,我们称之为结构化数据,如数字、符号;而另一类信息无法用数字或统一的结构表示,如文本、图像、声音、网页等,我们称之为非结构化数据。 结构化数据属于非结构化数据,是非结构化数据的特例。 定义: 结构化数据:即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。(转载)
不同的数据需要用不同的方式来处理:
对于非结构化数据
例如电话,邮箱,文本,则可以用到正则表达式来匹配;html文件:正则表达式、XPath、BeautifulSoup、CSS选择器对于机构化数据
json文件:JSON Path、使用json库转化成Python类型进行操作(json类)XML 文件:转化成Python类型(xmltodict)、正则表达式、XPath、BeautifulSoup、CSS选择器
参考文章:
https://blog.csdn.net/hujutaoseu/article/details/71189407