导言：我们从大数据的概念、核心技术、特征、通用应用4个方面来论述大数据。
作者：自觉的饼干mhdc深深的笑容
资料来源：华章科学技术
01 大数据概念
数据的发展推动了科学技术的进步，大量的数据给数据分析带来了新的机遇和挑战。 大数据是在检索、存储、管理和分析方面远远超出传统数据库软件工具能力范围的强大数据集，具有大数据大小、高速数据流、多样化数据类型和低价值密度四大特征。因此，为了应对多样化的信息资产，需要新的处理模式来实现更强的数据处理能力。
大数据技术追求的不是有准确性的样本数据，而是面向整体的数据，这部分数据有可能是不准确的、非结构化的，但大数据技术利用这些以前未被利用的数据，创造了新的价值。
从海量数据中得到的数据处理结果可能超出了我们的认知逻辑，但我们不需要了解结果背后的因果关系。 简言之，需要用关联思维代替因果思维。
02 大数据核心技术
大数据在信息系统的生命周期中，从数据源到最终产生有价值的可视化信息，主要经历六个步骤，分别是数据收集、数据存储、资源管理和服务协调、计算框架确定、计算框架确定、图2-1罗列了大数据技术每一步目前对应的主流技术体系，大数据的相关技术日新月异地出现，但由于篇幅的限制，不再列举。
图2-1大数据的主要技术体系
03 大数据特点
大数据具有大容量数据规模、高速数据流、多样化的数据类型和低价值密度四大特征，下面分别进行详细阐述。1 .庞大的数据大小(Volume )。
大数据收集、保存、计算的数据规模非常大。 随着互联网的普及，使用网络的人和企业等增加，数据的创造者变多，数据量呈几何级增加。 近年来，随着数据维度的增加、数据类型的增加、数据描述能力的提高，数据能够传递的信息也在增加，变得更加准确。
2 .快速数据流(Velocity ) )。
大数据不仅增长速度快，处理速度也快，有很强的时效性。 在信息时代，人是网络的核心，每个人每天都制造新的数据。 这些数据由政府、互联网企业、银行、电信运营商等适当机构收集，形成了巨大的数据体系。
面对如此庞大的数据体系，处理数据取得结果的速度越快，数据的时效性就越强，价值就越高——。 大数据和传统数据挖掘的最大区别也在于此，大数据更强调数据处理的实时性和时效性。
3 .多样化的数据类型(Variety )。
大数据的种类和来源多样化，多样的数据给数据处理带来了挑战。 从数据结构上看，大数据可以分为结构化数据、半结构化数据、非结构化数据； 在具体形式上，大数据可以分为视频、音频、图像、博客、社交网络、互联网检索等。 大数据面临的课题是对这些结构不同、形式多样的数据，挖掘其关联性。 前所未有的来自各个领域的各种形式的数据，给大数据带来了强大的威力。
4 .价值密度(Value )低
大数据的价值密度相对较低。 数据的价值密度和数据的规模成反比，数据的规模越大，数据的价值密度就越低。 大数据最大的价值在于从大量的低价值密度数据中提取出对分析和预测等有价值的信息。
与传统数据挖掘利用结构化的数据类型相比，大数据还着眼于非结构化、非采样、整体的数据
类型。这为大数据带来了更多的有效信息，但同时也增加了大量无价值的甚至是错误的信息。04 大数据的通用应用
大数据已经渗透到了全世界市场中的各个领域，彰显着巨大的价值，其在各个领域的详细应用情况如下。
1. 金融领域
大数据在金融领域应用广泛，如针对个人的信贷风险评估，银行根据用户的刷卡、转账、微信评论等数据有针对性地推送广告；理财软件通过大数据为客户有针对性地推荐理财产品。总结来说，大数据在金融领域的应用可以概括为精准营销、风险控制、效率提升、决策支持。
2. 医疗领域
医疗行业拥有大量的病例、检测记录、药物记录、治疗结果记录等，这些数据中蕴含着巨大的价值，如果可以加以利用，将对医疗界产生不可估量的影响。疾病确诊和因人而异的治疗方案设定是医疗领域的重大问题，大数据可以帮助建立针对疾病特点、病人状况以及治疗方案的数据库，为人类健康贡献巨大的力量。
3. 生物领域
各国研究人员正如火如荼地推进着人类基因组计划，这促进了生物数据的爆发式增长。基因检测可以帮助人们对自己现在的以及未来的健康状况有更深刻、全面的认识，甚至可以帮助父母在宝宝出生前就对其健康状况进行检测。因此，人类基因组计划是未来人类战胜疾病的重要工具。
大数据可以整合已有的人类基因的检测结果并进行分析，加速人类基因组研究的进程。
4. 零售领域
零售行业可以利用大数据了解顾客的消费偏好和趋势，用以商品的精准营销和相关产品的精准推销，降低运营成本，提高进货管理和过期产品管理效率。大数据可以帮助零售商预测消费者需求趋势，更高效地提高供应链满足需求的能力。对大数据带来的潜在信息的挖掘和有效利用，将成为未来零售领域的必争之地。
5. 电商领域
电商行业的数据集中、数据规模大，可以利用大数据在很多方面进行有效信息的分析提取，如用户消费趋势、地域消费特点等。
电商领域中的大数据应用已经颇具规模，电商也是最早利用大数据进行精准营销的行业。电商可以根据顾客消费习惯提前备货以提高商品送达效率，还可以通过对客户浏览、收藏、加入购物车和购买记录等数据的分析，对用户进行有效的商品推荐，提高销量。
关于作者：自觉的饼干，博士，某大型金融集团科技公司资深人工智能总监、高级工程师，中国计算机学会大数据专家委员会委员、高级会员，美国佛罗里达大学人工智能博士后，曾任美国莱斯大学电子与计算机工程系研究员、美国惠普公司高级云计算解决方案专家。
mhdc，某大型金融集团科技公司高级算法工程师，中国计算机学会会员，中国计算机学会青年计算机科技论坛（YOCSEF深圳）委员。拥有丰富的金融智能从业经验，主要研究金融智能系统框架搭建、算法研究和模型融合技术等，致力于推动金融智能的落地应用与价值创造。
深情的微笑，某大型金融集团科技公司高级人工智能产品经理，中国计算机学会会员，长期致力于金融智能的产品化工作，负责技术服务类的产品生态搭建与实施推进。
本文摘编自《金融智能：AI如何为银行、保险、证券业赋能》，经出版方授权发布。
延伸阅读《金融智能》
这是一部讲解如何用AI技术解决银行、保险、证券行业的核心痛点并帮助它们实现数智化转型的著作。作者从金融智能一线从业者的视角，深入剖析了传统金融行业的痛点与局限，以及金融智能的特点与优势，阐明了人工智能等技术在金融业的必要性，并针对金融智能在银行、保险和证券业的诸多应用场景，给出了具体解决方案。