转载供参考
3358 blog.csdn.net/WM _ 1991/article/details/50257269
3359 blog.csdn.net/Bt b5 E6 nsu 1g 511 e G5 xeg/article/details/82976864
并行计算并行计算或并行计算是针对串行计算进行的。 并行计算是指同时使用多个计算资源来解决计算问题的过程。 要执行并行计算，计算资源必须包含具有多处理器(并行处理)的计算机和/或连接到网络的计算机的特定编号。 并行计算的主要目的是快速解决大规模复杂的计算问题。
并行计算可以分为时间并行和空间并行。 时间并行是一种流水线技术，空间并行使用多个处理器执行并行计算，目前研究的主要是空间并行问题。 从程序和算法设计者的角度看，并行计算分为数据并行和任务并行。 数据并行将大任务解决为几个相同的子任务，比任务并行更容易处理。
空间并行导致两种并行机的产生，根据Michael Flynn (费林分类法)，将并行机分为单指令流多数据流(SIMD )和多指令流多数据流(MIMD )，是一种常用的串行数据流MIMD类机器还可以分为五种常见类型：并行向量处理器(PVP )、对称多处理器(multiple processor )、大规模并行处理器(MIMD )、工作站机群)、分布式共享存储处理器(dvp )
分布式计算(Distributed Computing )分布式计算这一研究领域主要研究分布式系统(Distributed system )如何进行计算。 分布式系统是指一系列计算机通过计算机网络相互链接通信而形成的系统。 科学将需要大量计算的工程数据划分为小块，由多台计算机分别计算，上传运算结果后，将结果汇总得出数据结论。
目前，典型的分布式计算项目通常使用全球成千上万志愿者计算机的空闲计算能力，通过互联网传输数据。 对于分析计算蛋白质内部结构和相关药物的Folding@home项目，该项目结构庞大，需要惊人的计算量，不可能在一台计算机上计算。 即使现在有计算能力很强的超级计算机，一些科研机构的经费也非常有限。
与其他算法相比，分布式计算具有以下优点：
1、稀缺资源可以共享。
2 .分布式计算允许多个计算机平衡计算负载。
3、可以把程序放在最适合运行它的计算机上。 其中，平衡稀缺资源的共享和负荷是计算机分布式计算的核心思想之一。
并行计算和分布式计算的区别(1)简单理解，引用Answers.com前面的回答：
parallelcomputinganddistributedcomputingarewaysofexploitingparallelismincomputingtoachievehigherperformance.multipleprocessiosion problem，eithertohaveitdonefasterortohavealargersizeproblembeensolved.tostatesimply，iftheprocessingelementssharethemememory it is called parallel computing，otherwiseitiscalleddistributedcomputing.somehaveopinionthatdistributedcomputingisaspecialformormong
并行计算和分布式计算都使用并行获得更高的性能，把大任务变成小任务。 简单来说，如果处理单元共享内存，则称为并行计算，反之为分布式计算。 一些人认为分布式计算是并行计算的特例。
但是，分布式任务包是相互独立的，上一个任务包的结果没有返回，或者结果处理错误，对下一个任务包的处理几乎没有影响。 因此，分布式实时性要求不高，计算错误也是允许的。 (因为每次计算任务都会为几个参与者进行计算，并将结果上传到服务器，然后比较结果并验证结果差异是否很大。) .
分布式处理的问题通常基于“搜索”模式。 “找”相当于穷法！ 为了逐一尝试可能存在的结果，一般从0~N (某个数值)开始逐一测试，直到找到我们想要的结果。 事实上，为了便于一次检测出正确的结果，我们假设结果以某种特殊的形式开始。 在这种类型的搜索中，我们可能幸运地从一开始就找到了答案； 要找到答案可能运气不好，但这是公平的。
这样，并行程序并行处理的任务包之间有很大的联系，并行计算的各任务块是必要的，没有浪费的分割是各任务包进行处理，由于计算结果相互影响，所以各计算结果是绝对正确的虽然分布式计算速度较快，但与真正的“并行处理”不同，任务包的数量相对有限，有限，因为许多分布式的任务块完全可以不处理，并且有大量无用的数据块
分布式创作通常使用c (也有JAVA，但都不是主流)，很少使用MPI接口。 并行计算用MPI或OpenMP。