首页 > 编程知识 正文

什么是mpp,mpp架构的特性

时间:2023-05-06 04:22:49 阅读:12974 作者:257

MPP框架MPP是系统框架角度的一种服务器分类方法。

目前,商用服务器的分类大致有3种。

对称多处理器体系结构(SMP ) NUMA )非一致存储访问体系结构(MPP )今天的主角是MPP。 因为随着分布式、并行化技术的成熟应用,MPP引擎逐渐显示出强大的高通量、低时延计算能力,许多采用MPP架构的引擎可以达到“亿级秒速运行”。

首先,请理解以下三种结构。

1 .单处理器系统(SMP )。

即,多处理器结构是指服务器上的多个CPU对称地工作,没有自主性或从属的关系。SMP服务器的主要特征是共享共享系统中的所有资源,包括CPU、内存和I/O。 由于这些特点,SMP服务器的主要问题扩展能力非常有限

2.numa (非统一内存体系结构)。

也就是说,不一致的存储访问结构。 该机制可以使用NUMA技术在一台服务器上组合使用几十个CPU,以解决SMP扩展能力不足的问题。 NUMA的基本特征是具有多个CPU模块,节点之间可以通过互连模块进行连接和信息交换。 因此,每个CPU可以访问整个系统的内存(这是与MPP系统的重要区别。 但是访问速度不同。 这也是非一致性存储访问NUMA的原因,因为CPU访问本地内存的速度远远快于系统中其他节点的内存速度。

这种结构也有缺点,因为异地存储器的访问时间远远超过本地存储器的访问时间,所以随着CPU数量的增加,不能线性地提高系统的性能。

3 .物理并行处理(MPP )或大规模并行处理结构。 MPP的系统扩展与NUMA不同,MPP在用户看来是一个服务器系统,其中多个SMP服务器通过一定节点互连网络连接、协同工作并执行相同的任务。 一种完全无共享(Share Nothing)结构,因为每个节点只访问自己的资源。

MPP结构扩展能力最好,理论可以无限扩展。 由于MPP连接到多个SPM服务器,每个节点上的CPU无法访问其他节点上的内存,因此也没有异地访问问题。

MPP体系结构特点:任务并行执行; 数据分布式存储(本地化); 分布式计算; 并发性强,单节点并发性超过300个用户; 向外扩展,支持群集节点扩展;Shared Nothing(完全无共享)架构NUMA和MPP的区别:两者有很多相似之处,首先NUMA和MPP都由多个节点组成; 其次,每个节点都有自己的CPU、存储器、I/O等。它们都可以通过节点之间的互连机制进行信息交换。

那个区别是什么呢? 首先是节点互联机制不同。 NUMA的节点互连在同一物理服务器内部实现,MPP的节点互连在不同的SMP服务器外部通过I/O实现。

其次,在内存访问机制不同MPP服务器中,每个节点只访问本地存储器,没有异地存储器访问问题。

二、批处理体系结构和MPP体系结构批处理体系结构(如MapReduce )和MPP体系结构的区别,它们的优缺点是什么?

相同点:批处理架构与MPP架构都是分布式并行处理,将任务并行分布在多个服务器和节点上,在各个节点上计算完成后,将各个部分的结果汇总得到最终结果。

区别:批处理体系结构和MPP体系结构的区别例如,我们执行一个任务,首先这个任务是分多个task运行的,对于MapReduce来说,这些tasks被随机的分配在空闲的Executor上;而对于MPP架构的引擎来说,每个处理数据的task被绑定到持有该数据切片的指定Executor上

由于存在这种差异,两种体系结构都有各自的优点和缺点。

批处理优势:对批处理体系结构而言,如果某个Executor执行过慢,那么这个Executor会慢慢分配到更少的task执行,批处理体系结构具有猜测执行策略,如果某个执行程序运行太慢或出现故障,则下一次分配任务

批处理缺陷:任何事情都是有代价的。 对于批处理来说,其优点带来缺点。会将中间结果写入到磁盘中

MPP的优势:MPP架构不需要将中间数据写入磁盘此过程称为pipelining,可带来巨大的性能提升。

MPP的缺陷:对于MPP架构,task和Executor是联系在一起的,如果一个Executor运行太慢或出现故障,会导致整个集群的性能就会受限于这个故障节点的执行速度(所谓的木桶短板效应) MPP体系结构的最大缺陷是33543358www.sinnww .而群集中的节点越多,出现问题的概率就越高,但如果节点出现问题,则对于MPP体系结构来说,整个群集的性能就越好

参考: https://MP.weixin.QQ.com/s/opkn5nb7typ6_1tdobhxca https://blog.csdn.net/night _ zw/article/details/1099999

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。