首页 > 编程知识 正文

华为mpp是什么意思,mpp是不是分几批

时间:2023-05-04 00:04:02 阅读:12969 作者:1366

MPP架构 分布式架构

MPP

1 .传统数仓常见的技术架构将独立数据库配置为集群,以提高整体性能

2 .节点之间是非共享体系结构,每个节点都有独立的磁盘存储系统和内存系统(独立存储独立计算),独立运行时不需要在意其他节点的情况或数据,如果需要使用其他节点的数据

3 .在设计上,首先考虑c (一致性),然后考虑a (可用性),尽量搞好p )分区容错)

架构优点

1 .运算方式精细、延迟低、吞吐量低

2 .适用于中型结构化数据处理

架构缺点

Hash标识存储位置不透明且数据所在的物理节点,查询任务在所有节点上运行

2 .并行计算时,单节点瓶颈会成为整个系统的短板,容错能力差

3 .分布式事务的实现会导致可扩展性下降

分布式架构

1 .大数据中常见的技术架构也成为Hadoop架构/批处理架构

2 .每个节点实现站点自治(单独执行本地APP应用),数据在群集中全局透明共享

3 .各节点通过局域网或广域网连接,节点间通信开销大,运算时致力于减少数据移动

4 .在优先考虑的情况下考虑p (分区容错),接着考虑a )可用性),最后考虑c )一致性)

MPP+分布式架构

1 .数据存储采用分布式体系结构中的公共存储,提高分区容错能力

2 .上层架构采用MPP,减少运算延迟

适用场景

1.MPP适合中型数据处理,延时低,SQL支持率高

2 .方差适用于海量数据的批量计算,吞吐量高,计算速度快,可扩展性强

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。