并行计算概述并行计算是同时使用多种计算资源解决计算问题的过程是提高计算机系统计算速度和处理能力的有效方法其基本想法是使用多个处理器共同解决同一问题，接下来要解决的问题被分割成几个部分，每个部分由独立的处理器并行计算。 在计算机术语中，并行性是指能够将一个复杂问题分解为多个子问题并同时处理的能力。
*并行计算概念： **并行计算的主要目标是通过提高计算速度、扩大解决问题的规模来解决大型复杂的计算问题。 接下来需要大量运算、持续时间长的大型串行任务，根据大型任务的内在相关关系，分解为几个相对独立的模块并行执行，从而节约运算时间。
**并行计算： **开放式计算是同时使用多个计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的有效途径。 这是在多个部件上执行的小任务协作解决大规模计算问题的方法。 其基本想法是使用多个处理器共同解决同一问题，是即将解决的问题
问题分为几个部分，每个部分都由独立的处理器计算。 并行计算系统实际上是由多个计算单元组成的运算速度快、存储容量大、可靠性高的计算机系统。 并行计算系统可以是包含被专用设计的多个处理器的超级计算机，或者可以是由以某种方式互连的多台独立计算机构成的集群。 并行计算集群完成数据处理，并将处理结果返回给用户。
并行计算的内涵包括并行计算机体系结构、编译系统、并行算法、并行编程、并行软件技术、并行性能优化与评价、并行应用等。 另外，并行计算可以作为并行计算机系统和实用问题之间的桥梁。 支持科学、工程、商业应用领域的专家，为并行计算机解决该领域问题提供了重要支持。
因此，为了成功地进行并行计算，需要三个基本条件。
(1)并行计算机。 并行计算机至少包括两台以上的处理机，井这些处理机通过网络相互连接，能够相互通信。
(2) APP应用具有并行度。 可以将APP应用程序划分为多个子任务，这些子任务可以并行执行。 将一个子任务分解为多个子任务的过程称为并行算法的设计。 )3)并行编程。 在并行计算机提供的并行编程环境中，具体实现并行算法，其目的是通过编写并运行并行程序来并行求解应用问题。
之所以能够并行计算，主要是因为并发性是物质世界的普遍属性，具有实用背景的计算问题往往可以划分为能够并行计算的多个子任务。
并行计算的“分层并行粒度”(Granularity )是在两次并行或交互操作之间执行的计算负载。 也就是任务级别，也就是任务量的大小。 并行计算的层次按并行粒度分为程序级并行、子程序级并行、语句级并行、操作级并行、微操作级并行，后三层几乎都由硬件和编译器负责处理，开发者通常是前两层并行，即程序并行我们通常所说的并行计算也关注前两个阶层。 并行度(Degree of Parallelism，DOP )是同时执行的不同进程的数量。 并行度和并行粒度的大小总是倒数：粒度越大，并行度越小。 然后增加
行数会增加系统(同步)的开销。
并行度(Degree of Parallelism，DOP )是同时执行的不同进程的数量。 并行度和并行粒度的大小总是倒数：粒度越大，并行度越小。 增加并行度会增加系统(同步)的开销。
一个数据分析任务可以被划分成相互独立的多个计算任务并被分配给不同的节点来处理，这种并行被称为程序级并行。 程序级并行化是粗粒度并行化，一个问题可以实现程序级
并行意味着，由于这个问题容易在集群中执行，所分割的任务独立，所以子问题之间需要的通信成本也非常小，不需要在集群节点之间进行大量的数据传输。 过程级并行中的每个计算任务都可以被认为是与计算无关或与数据无关的任务，其并行性是天然的、宏观的。
云计算和大数据关注的是程序级并行。
并行计算机的发展1 .分时间看并行计算机的发展：
2 .根据应用特点看并行计算机的发展：
并行计算机的发展过程也可以简单地分为两个时代。
)1)专用时代。 包括向量机、MPP系统、SGI NUMA系统、SUN大型SMP系统，也包括我国神威、银河、曙光1000等。 “专用”并不是指只运行特定的APP应用程序，而是指元件是专门设计的。 CPU板、内存板、I/O板以及操作系统在其他系统上不可用。
)2)普及时代。 高性能计算机价格下降，应用门槛下降，应用开始普及。 从两个技术趋势看
起重要作用。 其一，商品化趋势下大批量生产的商品零部件性能接近高性能计算机固有零部件，标准化趋势使这些零部件能够集成到一个系统中。 其中，X86处理器、以太网、内存部件、Linux操作系统的出现和发展起着决定性的作用。 其二，是目前高性能计算机的主要体系结构
结构之一是集群系统，其技术基础和工业基础都实现了工业标准化，性价比非常高。
向量机和MPP受研发费用高、售价高等因素的影响，其市场受到一定的限制； SMP受共享结构的限制，不能增大系统规模； 另一方面，集群系统具有性能价格比较高、投资风险小、结构灵活、可扩展性强、通用性好、能够继承现有软硬件资源、开发周期短、可编程性好等特点，主流并行计算机的发展
云计算所需的最基本硬件是大量串联的服务集群。 由于连接大量密集的服务器会导致主机冷却问题，云计算数据中心通常采用“容器式”
摆放法，即将大量的服务器集群规整地摆放在类似集装箱的机柜里。为了实现云计算平台的效用性，对大规模服务器集群必须采用具有大规模、可伸缩性、数据可重复性以及容错和平衡负载等特性的串联技术。例如 Google的Altanta 数据中心与 Oregon Dellas 数据中心都是互为备份的，为了维护服务器之间的负载平衡，将计算工作平均分配到服务器集群中去。 并行计算与分布式计算分布式计算：
分布式计算主要研究分散系统（Distributed Svstem) 如何进行计算。分散系统是一组计算机通过计算机网络互连后形成的系统。分布式计算可以把程序放在最适合运行它的计算机上运行，实现共享稀有资源和平衡负载，这也是分布
式计算的核心思想之一。
并行计算是相对于串行计算来说的，并行计算主要目的是加速求解问题的速度和提高求解问题的规模。并行计算强调时效性和海量数据处理，各任务之间的独立性弱，而且关系密切，每个结点之间的任务时间要同步。即并行程序并行处理的任务包之间有很大的联系，并且并行计算的每一个任务块都是必要的，没有浪费的、分割的，就是每个任务包都要处理，而且计算结果相互影响，这就要求每个计算结果要绝对正确。
分布式计算是相对于集中式计算来说的。分布式计算的任务包相互之间有独立性，上一个任务包的结果未返回或者是结果处理错误，对下一个任务包的处理几乎没有什么影响。分布式计算的实时性要求不高，并且允许存在计算错误（因为每个计算任务给好几个参与者计算，上传结果到服务器后要比较结果，然后对结果差异大的进行验证。也就是说，分布式计算不强调时效性，各任务之间相互独立，所以结点节可以没有通讯，即无网络信息传输。每个结点之间的任务执行时间没有限制。
典型的分布式计算，如分析计算蛋白质的内部结构和相关药物的Folding@home 项目，该项目结构庞大，需要惊人的计算量，由一台计算机计算是不可能完成的。因此，该项目通过分布式计算技术把需要进行大量计算的工程数据分区成小块，分配给多台计算机分别计算，在各台计算机上传运算结果后，将结果统一合并得出数据结论。因此，有人认为分布式计算是并行计算的一种特例。
分布式计算中，很多任务块可以根本不处理，即有大量的无用数据块。因此，分布式计算的速度尽管很快，但真正的“效率”是低之又低的。分布式要处理的问题一般是基于“寻找”模式的。所谓的“寻找”， 就相当于穷举法。为了尝试到每一个可能存在的结果，一般从0~n (某一数值）被一个一个的测试，直到找到所要求的结果。事实上，为了易于一次性探测到正确的结果，可以假设结果是以某个特殊形式开始的。在这种类型的搜索里，也许一开始就找到答案，也许到最后才找到答案，即分布式计算中可能一直在寻找答案，但有可能永远都找不到，也可能一开始就找到了。而并行计算的任务包个数相对有限，在一个有限的时间应该是可能完成的。
云计算需要解决：计算资源的透明虚拟化和弹性化、内存储资源的透明虚拟化和弹性化、外存储资源的透明虚拟化和弹性化、数据安全的保障、向开发者提供完善的 API 并实现终端用户向云计算的平滑过渡。云计算将一切隐在云端，普通用户不再关心数据存在哪里，不再关心数据的安全，不再关心应用程序是否需要升级，不再关心计算机病毒的危害，这一切的工作都由云计算负责解决，普通用户要做的就是选择自己喜爱的云计算服务商购买自己需要的
服务，并为之付费。云计算使普通用户有了享受高性能计算的机会，因为云计算中心几乎可以提供无限制的计算能力，计算的弹性化和存储的弹性化是云计算的重要特征。
云计算的计算能力的实现是从计算机的并行化开始的，即把多个计算机并联起来，从而获得更快的计算速度，这是一种很简单也很朴系的买现高速计算的方法，也被证明是相当成功的方法。
由于服务器的大量集中，服务器的失效成为经常的事情，传统的架构对于单点失效是很敏感的，而在云计算架构下单点失效成为系统认可的常态，任何的单点失效都不会影响系统对外提供服务。即云计算在构建系统架构时就将系统结点的失效考虑了进去，实现了基于不可信服务器结点的云计算基础架构。将服务器失效作为云计算系统的服务器集群模型是符合实际情况的，这种情况下单个服务器可以看作是不可信的结点，在系统设计时必须要将不可信服务器结点的失效屏蔽在系统之内，不向开发者和普通用户传递。在将服务器失效作为常态的服务器集群模型下，数据的安全性通过副本策略得到了保证。