书名页
个人资料
版权页
前言
第一章Python语言基础
1.1安装python环境
1.1.1 Python 3.6.2安装和配置
1.1.2使用ide工具——PyCharm
1.1.3使用ide工具——Anaconda
1.2 Python操作初探
1.2.1编写第一个Python代码
1.2.2 Python的基本操作
1.2.3变量
1.3 Python数据类型
1.3.1数字
1.3.2字符串
1.3.3清单
1.3.4元组
1.3.5集合
1.3.6词典
1.4 Python语句和函数
1.4.1条件句
1.4.2循环语句
1.4.3函数
1.5习题
第二章数据收集的基本
2.1关于爬行动物的合法性
2.2关于主页
2.2.1了解网页结构
2.2.2编写简单的HTML
2.3使用requests库请求站点
2.3.1安装requests库
2.3.2爬行动物基本原理
2.3.3用get方式抓取数据
2.3.4以post方式抓取数据
2.4使用beautiful soup分析网页
2.5数据清洗和整理
2.6爬行动物攻防战
2.7关于何时保存数据
2.8习题
第三章通过API获取天气预报数据
3.1注册免费API,阅读技术文档
3.2获取API数据
3.3将数据保存到MongoDB
3.3.1下载并安装MongoDB
3.3.2在py charm上安装Mongo Plugin
3.3.3在MongoDB中保存数据
3.4 MongoDB数据库查询
3.5习题
第四章大型爬行动物案例:抓取某电商网站商品数据
4.1观察页面特征和分析数据
4.2工作流分析
4.3类别树的构建
4.4获取景区产品列表
4.5代码优化
4.6优化爬行动物效率
4.7容错流程
4.8习题
第五章手机APP的数据采集
5.1模拟器和包环境配置
5.2 App数据捕获包
5.3手机APP的数据采集
5.4习题
第六章爬行动物
6.1 Scrapy简介
6.2脚本安装
6.3案例:用Scrapy抓住股票行情
6.4习题
第七章Selenium爬行动物
7.1销售简介
7.2安装selenium
7.3 Selenium定位和操作要素
7.4案例:抓取Selenium电商网站数据
7.5习题
第八章爬行动物案例集锦
8.1外卖平台数据采集
8.1.1采集目标
8.1.2代码收集
8.2内容平台数据收集
8.2.1采集目标
8.2.2代码收集
8.3招聘平台数据采集
8.3.1采集目标
8.3.2代码收集
8.4知识付费平台数据采集
8.4.1采集目标
8.4.2代码收集
第九章数据库连接和查询
9.1使用pymysql
9.1.1连接数据库
9.1.2案例:某电商网站女装行业TOP100销售额数据
9.2使用sqlalchemy
9.2.1 SQLAlchemy基本介绍
9.2.2 SQLAlchemy的基本语法
9.3 MongoDB
9.3.1 MongoDB基本语法
9.3.2案例:在某电商网站搜索“海贼王”商品数据
9.4习题
第10章NumPy数组操作
10.1数字摘要
10.2一维数组
10.2.1序列和列表的异同
10.2.2创建数组
10.3多维数组
10.3.1多维数组的高效性能
10.3.2多维数组的索引和切片
10.3.3多维数组的属性和方法
10.4数组运算
10.5习题
第十一章pandas数据清洗
11.1数据读写、选择、组织和说明
11.1.1从CSV读取数据
11.1.2向CSV写入数据
11.1.3数据选择
11.1.4数据整理
11.1.5数据说明
11.2数据分组、拆分、合并和变形
11.2.1数据包
11.2.2数据分割
11.2.3数据集成
11.2.4数据变形
11.2.5案例:旅游数据分析与变形
11.3缺损值、异常值和重复值处理
11.3.1缺失值处理
11.3.2异常值的检测和过滤
11.3.3删除重复值
11.3.4案例:旅游数据值检查与处理
11.4时序数据处理
11.4.1日期/时间数据转换
11.4.2时序数据基础操作
11.4.3案例:天气预报数据分析与处理
11.5数据类型转换
11.6正则表达式
11.6.1元字符和修饰符
11.6.2案例:用正则表达式提取网页文本信息
11.7习题
第十二章综合应用示例
12.1性价比向用户推荐旅游产品
12.1.1数据收集
12.1.2数据清洗、建模
12.2通过热企图分析为用户提供旅游建议
12.2.1某旅游网站热门景区爬虫代码
12.2.2从CSV文件中提取经纬度和销售额信息
12.2.3建立增加景区门票销量的HTML文件
第十三章数据可视化
13.1用matplotlib画画
13.1.1画出各省平均价格、各省平均成交量的柱状图
13.1.2绘制各省平均成交量折线图、条形图、箱形图和饼图
13.1.3绘制价格和成交量散点图
13.2用pye charts画画
13.2.1 Echarts介绍
13.2.2 pyecharts简介
13.2.3初识pyecharts,零散相送
13.2.4 pyecharts的基本语法
13.2.5基于业务分析的pyecharts图表绘制
13.2.6使用pye charts创建其他图表
13.2.7 pyecharts和Jupyter
13.3习题
专业服务