可以说大数据来自搜索引擎的诞生。 百度搜索引擎、360搜索引擎等我们熟悉的搜索引擎可以说是大数据技术最早的，也是基础的应用。 也许2015年大数据还没有那么火爆，2015年可以说是大数据的分水岭。 随着网络技术的飞速发展，大数据也迎来了其发展的高峰。
作为整个大数据处理技术的核心基础，hadoop、mapreduce、nosql系统构建在谷歌提出的大表、分布式文件系统、分布式计算三大技术框架之上，解决了海量数据处理问题虽说大数据处理技术最早是在国外兴起的，但关于现在大数据处理技术的应用还是在国内做比较好。 从近两年国家对大数据的支持程度，可以明显感受到大数据与我们的生活、工作息息相关。
大数据在国内发展迅速，能够得到国家层面的支持，最重要的是我们纯国产大数据处理技术的突破和飞跃发展。 在互联网深刻改变着我们的生活和工作方式的今天，数据成为了最重要的资料。 数据安全问题尤为突出，前一阶段Facebook用户数据泄露引起的一系列问题充分说明了数据安全问题的严重性。 大数据发展的必然趋势是深刻改变我们的工作和生活方式，无论是企业还是个人都必然成为其中的“数据”。 选择什么样的大数据处理，不仅简单易用，而且要确保数据的安全性！
目前国内的hadoop大数据处理平台比较杂乱，有国外的，有基于国外版本的二次开发的，但很少进行原生态开发。 关于进行原生态开发的人，现在已知的是大快检索。 所以，就我个人而言，我喜欢快速搜索产品手册封面上的词语。 你会发现所有程序员都可以开发大数据的基础技术。 在这里，我也把我急急忙忙检索到的手册封面图就这样拿来做了文章的封面。
大数据的应用开发一直过于偏重底层，面临的问题是学习难度大，相关技术面也非常广，严重制约了大数据的普及，这也是大部分大数据处理平台面临的突出问题。 大规模搜索推出的大数据一体化开发框架基本上很好地解决了这样的问题。 将大数据开发中通过的、复用的基础代码、算法打包为类库，降低了大数据的学习门槛，降低了开发难度，较好地提高了大数据项的开发效率。 大型高速一体化开发框架由数据源和SQL引擎、数据采集(自定义爬虫)模块、数据处理模块、机器学习算法、自然语言处理模块、搜索引擎模块六部分组成。 采用类黑匣子框架模式，用户可以直接调用大而快的相关类完成过去复杂的编码工作。
大型高速大数据通用计算平台(DKHadoop )集成了相同版本号开发框架的所有组件。 关于DKhadoop大数据处理平台的案例，实际上感兴趣的人可以在大网站上调查一下。 很多案例都是共享的。 我个人知道的是，DKhadoop的政务大数据处理解决方案非常出色！ 请大家也在大网站上调查一下这方面的方案资料。