大数据技术是指从各种类型的数据中快速获得有价值的信息的技术。 大数据领域已经出现了许多新技术，它们已成为大数据收集、存储、处理、表达的有力武器。 大数据处理的关键技术一般包括大数据收集、大数据预处理、大数据存储与管理、大数据分析与挖掘、大数据显示与应用(大数据检索、可视化、大数据可视化)
这里还是推荐我自己组建的大数据学习交流小组：199427210。 小组中有人在学习大数据的开发。 如果你在学习大数据，编辑欢迎你加入。 大家都是软件开发党，不定期共享干货。 欢迎想进入高中和和大数据的伙伴加入，包括自己整理的2019最新大数据高级资料和高级开发教程。
一、大数据采集技术
数据采集是指通过RFID射频数据、传感器数据、社交网络交互数据以及移动互联网数据等方式获得的各种结构化、半结构化(或称弱结构化)以及非结构化的海量数据，大数据知识服务器重点突破分布式高速可靠数据爬网或采集、高速数据全映像等大数据采集技术； 设计突破高速数据分析、转换、加载等大数据集成技术的质量评价模型，开发数据质量技术。
大数据采集一般分为大数据智能感知层，主要包括数据感知体系、网络通信体系、传感自适应体系、智能识别体系及软硬件资源接入系统，结构化、半结构化、非结构化海量数据的智能识别、定位要重点攻克大数据源智能识别、感知、自适应、传输、接入等技术。 基础支持层：基础支持环境，如数据库和物理网络资源，提供大数据服务平台所需的虚拟服务器、结构化、半结构化和非结构化数据。 重点攻克分布式虚拟存储技术、大数据获取、存储、组织、分析、决策操作可视化接口技术、大数据网络传输与压缩技术、大数据隐私保护技术等。
二、大数据预处理技术
主要完成接收数据的分析、提取、清洗等操作。
1、提取：由于获取的数据可能具有多种结构和类型，数据提取过程可以将这些复杂的数据转化为单个或易于处理的排列，有助于实现快速分析处理的目的。
2、清洗：对于大数据，并不都是有价值的，有些数据不是感兴趣的内容，其他数据是完全错误的干扰项目，必须通过过滤数据“去噪”提取有效数据
e="color:rgb(34,34,34);font-family:'PingFang SC', 'Hiragino Sans GB', 'Microsoft YaHei', 'WenQuanYi Micro Hei', 'Helvetica Neue', Arial, sans-serif;"> 三、大数据存储及管理技术大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统（DFS）、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术；突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术；突破大数据索引技术；突破大数据移动、备份、复制等技术；开发大数据可视化技术。
开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据库。
开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控制、数据审计等技术；突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。
四、大数据分析及挖掘技术
大数据分析技术。改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘涉及的技术方法很多，有多种分类法。
根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等；
根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web；
根据挖掘方法分，可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。机器学习中，可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中，可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中，可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法，另外还有面向属性的归纳方法。
从挖掘任务和挖掘方法的角度，着重突破：
1、可视化分析。数据可视化无论对于普通用户或是数据分析专家，都是最基本的功能。数据图像化可以让数据自己说话，让用户直观的感受到结果。
2、数据挖掘算法。图像化是将机器语言翻译给人看，而数据挖掘就是机器的母语。分割、集群、孤立点分析还有各种各样五花八门的算法让我们精炼数据，挖掘价值。这些算法一定要能够应付大数据的量，同时还具有很高的处理速度。
3、预测性分析。预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。
4、语义引擎。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。语言处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等。
5、数据质量和数据管理。数据质量与管理是管理的最佳实践，透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。
五、大数据展现与应用技术
大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。
在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公共服务。例如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统（道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统），大规模基因序列分析比对技术，Web信息挖掘技术，多媒体数据并行化处理技术，影视制作渲染技术，其他各种行业的云计算和海量数据处理应用技术等。
来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31561003/viewspace-2564697/，如需转载，请注明出处，否则将追究法律责任。
转载于:http://blog.itpub.net/31561003/viewspace-2564697/