在大数据时代，传统的数据处理方法还能适用吗？
大数据环境下的数据处理需求
大数据环境下数据源非常丰富，数据类型多样，存储和分析挖掘的数据量巨大，对数据要求高，重视数据处理的效率和可用性。
传统数据处理方法的不足
传统的数据收集源单一，数据量相对较少，往往可以使用关系数据库和并行数据仓库进行处理。 在通过并行计算提高数据处理速度方面，传统的并行数据库技术追求高一致性和容错性，根据CAP理论，可用性和可扩展性很难保证。
传统的数据处理方法以处理器为中心，但大数据环境需要采用以数据为中心的模型，减少数据移动的开销。 因此，传统的数据处理方法已经不能满足大数据的需求！
大数据的处理流程包括哪些环节？每个环节有哪些主要工具？
的大数据基本处理流程与传统数据处理流程相差不大，主要区别在于大数据处理大量非结构化数据，作为各处理的一部分可以通过MapReduce等方式并行处理。
大数据技术为什么能提高数据的处理速度？
大数据并行处理工具——MapReduce
大数据可以通过一种叫做MapReduce的并行处理技术来提高数据的处理速度。 MapReduce的初衷是在大量廉价的服务器上实现大数据并行，对数据完整性的要求不高。 突出的优点是可扩展性和可用性，特别适用于大量结构化、半结构化和非结构化数据的混合处理。
MapReduce通过分布式处理传统查询、分解和数据分析并将处理任务分配给不同的处理节点，具有更强的并行处理能力。 作为一种简单的并行编程模型，MapReduce还降低了并行APP应用程序的发展阈值。
MapReduce是一个软件框架，包括映射(Map )和冗馀(Reduce )两个阶段，它可以划分大量数据、分解任务和聚合结果，并并行处理大量数据。
MapReduce的结构实际上是先分成后汇总的数据处理方式。 Map即“分解”，将海量数据分成几个部分，并分成多个处理器进行并行处理； Reduce是“合并”，将各处理器处理的结果汇总后得到最终结果。 如右图所示，使用MapReduce累计不同几何形状的数量后，首先将任务分配给两个节点，两个节点分别并行累计，将这些结果汇总得到最终的计算结果。
MapReduce适用于数据分析、日志分析、业务智能分析、客户营销和大索引等业务，效果非常好。 结合MapReduce技术进行实时分析，一家家电公司的信用计算时间从33小时缩短到8秒，MKI的基因分析时间从几天缩短到20分钟。
现在，我们来看看MapReduce与传统分布式并行计算环境MPI有何不同。 MapReduce在设计目的、使用方法、文件系统支持等方面与MPI有很大不同，能够满足大数据环境中的处理需求。
大数据技术在数据采集方面采用了哪些新的方法
系统日志采集方法
许多互联网公司都有自己的海量数据收集工具，经常用于系统日志收集，如Hadoop的Chukwa、Cloudera的Flume和Facebook的Scribe。 这些工具采用分布式体系结构，能够满足每秒数百MB的日志数据收集和传输需求。
网络数据采集方法：对非结构化数据的采集
web数据收集是指通过web爬虫和网站公开API等从网站获取数据信息。 该方法可以从网页中提取非结构化数据，存储为统一的本地数据文件，并以结构化的方式存储。 支持收集图像、音频、视频等文件或附件，并自动将附件与正文相关联。
可以使用诸如DPI和DFI之类的带宽管理技术来处理网络业务的收集，以及网络中包括的内容。
其他数据采集方法
对于企业的生产经营数据和学科的研究数据等要求机密性的数据，可以与企业和研究机构合作，使用特定的系统接口等相关方式收集数据。
本文摘自《大数据——大价值、大机遇、大变革(全彩)》
李志刚主编
电子工业出版社出版