MPP架构 分布式架构
MPP
1 .传统数仓常见的技术架构将独立数据库配置为集群,以提高整体性能
2 .节点之间是非共享体系结构,每个节点都有独立的磁盘存储系统和内存系统(独立存储独立计算),独立运行时不需要在意其他节点的情况或数据,如果需要使用其他节点的数据
3 .在设计上,首先考虑c (一致性),然后考虑a (可用性),尽量搞好p )分区容错)
架构优点
1 .运算方式精细、延迟低、吞吐量低
2 .适用于中型结构化数据处理
架构缺点
Hash标识存储位置不透明且数据所在的物理节点,查询任务在所有节点上运行
2 .并行计算时,单节点瓶颈会成为整个系统的短板,容错能力差
3 .分布式事务的实现会导致可扩展性下降
分布式架构
1 .大数据中常见的技术架构也成为Hadoop架构/批处理架构
2 .每个节点实现站点自治(单独执行本地APP应用),数据在群集中全局透明共享
3 .各节点通过局域网或广域网连接,节点间通信开销大,运算时致力于减少数据移动
4 .在优先考虑的情况下考虑p (分区容错),接着考虑a )可用性),最后考虑c )一致性)
MPP+分布式架构
1 .数据存储采用分布式体系结构中的公共存储,提高分区容错能力
2 .上层架构采用MPP,减少运算延迟
适用场景
1.MPP适合中型数据处理,延时低,SQL支持率高
2 .方差适用于海量数据的批量计算,吞吐量高,计算速度快,可扩展性强