首页 > 编程知识 正文

大数据平台使用什么数据库,mpp是指大规模并行处理系统

时间:2023-05-05 13:13:26 阅读:12971 作者:2190

目录1、对称多处理器体系结构2、非一致性存储访问体系结构3、大容量并行处理体系结构3.1 NUMA和MPP之间的差异3.2 MPP DB

从并行/并行计算系统的内存体系结构来看,当前的商用服务器包括: http://www.Sina.com/(SMP:symmetric multi-processor )、http://www .

一.对称多处理器体系结构

33558 www.Sina.com/(symmetric multi-processing ),简称SMP,是一台计算机上多个处理器(即多个CPU )的集合,在处理器之间对称运行在处理器之间通过共享北桥存储器控制器实现外部存储器和I/O的共同访问。 也就是说,由于处理器访问内存和I/O的方式和开销相同,因此SMP也称为一致存储访问结构(uma )。

扩展SMP系统包括添加内存、使用更快的CPU、添加CPU、扩展I/O (插槽和总线数)以及添加外部设备(通常为磁盘存储)。 SMP系统的主要特点是共享,共享系统中的所有资源(CPU、内存、I/O等)。 这种特点导致了SMP系统的主要问题。 那就是扩张能力非常有限。 在SMP系统中,所有共享会话都可能成为SMP系统扩展的瓶颈,最受限制的是内存。 由于每个CPU必须通过同一内存总线访问同一内存资源,因此随着CPU数量的增加,内存访问冲突迅速增加,最终导致CPU资源的浪费,CPU性能的有效性大幅降低。 实验证明,SMP系统CPU利用率最好的是2~4个CPU。

二、非一致性存储访问体系结构3358 www.Sina.com/(非统一存储器访问体系结构),简称NUMA为、 为解决传统对称多进程(Symmetric Multi-processor )系统的可扩展性问题而诞生的NUMA系统的基本特征是包括多个处理器模块,每个处理器模块由多个处理器组成,独立

NUMA系统节点之间可以通过互连模块(Crossbar Switch或Bus Interconnect )进行连接和信息交换,从而使每个CPU可以访问整个系统的内存。 这是NUMA系统和MPP系统的重要区别。 很明显,本地内存访问速度要比远程内存(系统中其他节点的内存)访问速度快得多。 这也是对NUMA的不一致性存储访问的由来。 根据这一特点,为了更好地发挥系统的性能,在开发APP应用时需要尽量减少不同CPU模块之间的信息交换。 利用NUMA技术,您可以正确解决原始SMP系统的扩展问题,并在单个物理服务器中支持数百个CPU。 典型的NUMA服务器示例包括惠普Superdome、Sun 15K和IBM PSeries 690。

但是,NUMA技术也有缺点。 由于远程内存访问延迟远远超过本地内存,因此随着CPU数量的增加,系统性能无法线性提高。 惠普公司发布Superdome服务器时,公布了与惠普其他UNIX服务器的相对性能值,结果显示64路CPU的superdome(numa结构体)的相对性能值为20,8路4000 (共享SMP结构体)的相对性能值为6.6 从这个结果可以看出,更换了8倍数量的CPU的只有3倍的性能提高。

三、海量并行处理架构不同于NUMA,MPP提供了另一种进行系统扩展的方式,即多个SMP服务器通过一定的节点互联网络连接,协同工作,完成相同的任务,从用户的角度看是一个服务器服务器其基本特征是多个SMP服务器(每个SMP服务器称为节点)通过互连网络连接,每个节点仅访问其本地资源(存储器、存储等)且不完全共享)

3.1从NUMA和MPP的不同体系结构来看,NUMA和MPP有很多相似之处。 这些节点都由多个节点组成,每个节点都有自己的CPU、存储器和I/O,并可以通过节点互连机制在节点之间交换信息。

那么,它们的区别在哪里? 首先,节点互联的机制不同。 NUMA的节点互连机制在同一物理服务器中实现,如果一个CPU需要远程内存访问,则必须等待。 这也是NUMA服务器无法应对CPU增长时性能线性扩展的主要原因。 而MPP的节点间互连机制是在不同SMP服务器的外部通过I/O实现的,每个节点只访问本地存储器和存储器,节点间的信息交换与节点自身的处理并行进行。 因此,MPP在增加节点时的性能基本上是可线性扩展的。 其次,内存访问机制不同。 在NUMA服务器内部,其中一个CPU可以访问整个系统的内存,但远程访问的性能远低于本地内存访问的性能,因此在开发APP应用程序时必须尽量避免远程内存访问在MPP服务器中,每个节点只访问本地内存,没有远程内存访问问题。

3.2 MPP DB MPPDB是共享节点体系结构的分布式并行结构化数据库群集,具有高性能、高可用性、高可扩展性,为超大规模数据管理提供了经济高效的通用计算平台,以及各种数据窗口Impala、Presto、Hive等代表性产品。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。