课程概述:
大量数据处理和优化(课程概述)
时间课的内容
第一部分数据结构1、数据分割
1 .数据现状
2 .连接数问题
3 .数据垂直分割
4 .垂直分割问题和解决办法
5 .异构读写分离
6 .数据水平分割
7 .水平分割问题和解决办法
8 .若干个案研究
9 .出难题
二.多种存储方案
no部署SQL数据库
2 .图像服务器分离
3 .介绍和使用开源分布式文件系统
4 .图像处理和缓存
5.HDFS介绍
6.CDN介绍和详细信息
第二部分数据同步方式1、并发日志分析方式
1 .方案分析
2 .整体结构设计
3 .线程池处理
4 .代码实现
二、实时数据传输平台
1 .主要逻辑(发布数据和订阅数据) )。
2 .实时数据传输平台的体系结构
3 .实时数据传输平台结构分析
4 .代码共享
三.数据库同步工具的使用
1、数据库同步介绍
2、结构分析
3、使用详细解
四.异构数据库/文件系统之间的快速交换工具
1、开源工具介绍
2、特点和结构模式
3、使用和插件开发
第三部分分布式缓存系统1,Memcached
1.Memcached介绍
2.Memcached的简单用途
3.Memcached特点
4.Memcached的好处和限制
5 .嵌入式Java客户端
6.Memcached Java客户端优化
第四部分Mysql性能优化、Oracle性能优化一、Mysql性能优化
1.Mysql性能优化引言
2 .数据库设计和查询优化
3 .架构设计
4 .标准化
5 .数据类型
6 .正确使用索引
7 .查询缓存
8 .服务器端优化
9 .优化存储引擎
10 .临时表格
11 .线程池
12 .部署非关系数据库
13 .新技术
二.优化甲骨文性能
1、常用的SQL技巧
2、表格连接方式
3、有效使用索引
4、甲骨文优化器和执行机构
5、Oracle 11g中的执行计划管理
6、Oracle 11g中的数据库回调和SQL回调
7、甲骨文绩效顾问
第五部分数据层开发一、数据服务平台设计
1 .数据体系结构分析
2 .问题
3 .解决方案
4 .数据服务平台的特性
二、数据服务平台实现
1 .实现模型数据映射
2 .集成查询更新API
3 .绩效优化战略
4 .热点缓存平台
5 .异步并行机制
6 .并发控制、自我保护