今天，我们来谈谈“大数据工程如何落地”。 ”的话题。 从事了许多大数据项的规划方案和项目落地工作，在这里分享了一些心得，主要是关于大数据项目如何落地实现预期目标，这些都可以说是实践的观点。
对于一个大数据应用项目/产品的落地，可以大致概括为5个步骤：数据规划、数据管理、数据应用、迭代实施、商业价值。 下图：
大数据项目落地路线图
第一阶段：数据规划
成功的大数据项目需要有一个良好的开端，即数据规划阶段的各项工作，包括：
战略意图：在此阶段，为了明确战略意图，该战略意图需要相关相关相关部门之间达成共识和共识。 换句话说，为什么要进行这个大数据项目？
战略规划：明确了战略意图后，就可以作为贯穿整个项目过程的灯塔。 其次，必须将战略意图转变为战略计划。 通过战略规划，要让相关部门和人员清楚认识这个大数据项目要做什么。
商业目标：战略规划完成后，要明确这个大数据的商业目标，即通过这个大数据项目的实施能给企业带来什么样的商业价值。 是降低成本，还是扩大营业收入，还是通过创新业务为企业带来新的价值增长点？
执行方针：业务目标确定后，还需要进一步确定这一大数据项的执行方针，包括项目执行的基本原则、利润分配原则、分流处理原则等。
组织支持：上述操作完成后，需要构建相应的项目组织。 成立项目团队，明确相关部门及岗位职责，根据不同的战略意图、战略规划、业务目标和执行方针，构建不同框架和规模的组织。
上述动作是项目成功落地的先导工作，其次是许多细节和具体工作，这些具体工作是保证项目成功落地的基础。
产品(项目)规划)协同各有关部门和相关人员，有效建立项目内容规划机制，完成产品(项目)项目的总体规划。
场景规划：需要完成产品(项目)的总体规划，作为大数据项目，继续规划主要应用场景。 场景规划是有效推进后续步骤的基础，场景如果规划不明确，将直接影响后续一系列动作的执行。
需求评估：产品(项目)计划、方案计划完成后，反复将计划内容与各相关部门和相关人员进行沟通和确认，最终形成项目需求说明书，同时完成需求评估，相关计划和需求形成战略决策
完成上述操作后，从体系结构和落地角度看，还需要进一步深化：
体系结构规划：根据完成的产品(项目)规划、方案规划和需求评估，从落地角度完成数据体系结构规划。 架构规划是项目成功落地的重要一环。
有些大数据项目需要部署第三方数据支持和系统中其他非相关部门的数据支持，需要有效的合作。
合作意图：当项目需要引入第三方数据支持，以及需要系统中其他非相关部门的数据支持时，必须充分评估项目风险和合作意图，有效达成合作共识。
第二阶段：数据治理
第一阶段工作完成后，已经具备了大数据项目成功落地的良好基础，接下来还需要根据数据规划阶段的成果继续后续环节。 首先要做的是有数据，而且有高质量的数据，数据齐全才能保障项目的有效推进和执行。
来源评估：在数据治理阶段，首先进行来源评估，开展数据整理相关工作，及时识别和处理数据来源可能存在的风险。
完成源评估后，您可以执行数据检索任务，以确保可以高效地检索所需相应数据源的数据。
数据采集：数据采集是一项重要的工作，只有采集数据，才能进行一系列大数据相关的工作。 在数据收集过程中，注意数据收集的有效性。
数据预处理：为了更好、更高效地存储有价值的数据，同时便于系统使用，可以对部分数据进行预处理。
数据质量：数据质量环节很重要，如何有效地保证数据质量？ 直接影响着大数据项的实施效果，在这个环节，必须投入大量精力形成标准，建立相对自动化的数据质量体系。
上述几个环节需要根据需要利用专业的产品工具。
数据管理：数据管理工作影响项目的整个周期。 戴尔建议您使用专业的数据管理产品和工具，或者使用具有开发能力的供应商来定制您的数据管理系统。
第三方数据：可以通过交换数据资产、购买等方式完成对第三方数据的访问。
整个第二阶段将形成一系列标准和流程，在此不再赘述。
第三阶段：数据APP应用
第一、第二阶段的工作完成后，就进入最重要的第三阶段工作。 在这个阶段，我们将完成前启后的推广大数据项目落地工作，真正形成大数据的应用，带来真正的业务价值。
场景细分：在此阶段，对第一阶段形成的场景规划进行可能场景的细分，对场景进行细分，形成一个用例(Use Case )。
干系组织利益共识：通过场景细分化的一个个用例(Use Case )，明确了给每个干系组织带来的业务价值。 此时，为了不让利益问题阻碍项目的执行，有必要让各干系组织形成利益共识。
上述操作完成后，需要
要借助供应商的参与和力量继续完成后续的 Action。功能规划：经过上述 Action 环节，项目已经进入重要的落地阶段，需要根据已经整理好的用例 ( Use Case ) 、数据，形成具体的功能规划。这些功能规划，需要是可被准确识别和实现的，直接对应了大数据应用系统的功能点。
技术选型：完成了功能规划，就需要进行技术选型工作，由于大数据相关的技术非常多，这项工作需要借助专业供应商的力量来一起完成，需要充分考虑非功能性指标，比如：性能要求等等。
产品选型：技术选型后，需要根据选择的技术路线，来找到可供选择的、符合技术路线的产品，完成产品选型工作，如：数据科学平台等等。
应用分析模型设计：大数据项目的一个重要的内容，就是要通过数据来形成各种应用分析模型，借助类似于数据科学平台类的产品，可以快速有效形成各种预测分析模型。完成这个环节的工作，需要有数据科学家、业务分析师等等一系列的角色参与相关工作。或者说引入第三方的成熟产品，如客户智能分析平台、物联网智能分析平台、运营智能分析平台等等，通过引入这些产品来直接引入成熟的分析模型。
技术选型、产品选型以及应用分析模型建立后，就需要进行验证工作了，主要包括场景 PoC 和商业验证。
PoC：选取具有典型代表意义的大数据应用场景，进行现场的 PoC 验证工作，通过 PoC，修正和完善每个用例 ( Use Case ) ，同时验证技术选型、产品选型的正确性，发现问题及时处理，甚至重新选择技术与产品。
商业验证：PoC 环节完成后，还需要进行商业验证，验证和评估一些关键场景用例 ( Use Case ) 的应用效果，评估和预测是否可以达成商业目标，从而推导出达成商业目标可能存在的问题和风险，进行修订与处理，必要调整各个干系部门和干系人之间的利益共识。
第四阶段：迭代实施
前三个步骤阶段的工作有效得完成后，就进入了第四步骤阶段迭代实施，之所以是迭代实施，也跟大数据类项目的特征有关，就如大数据建立分析模型是一种探索的过程一样，大数据项目的执行也需要进行不断的验证、修正、实施这样的工作，可能需要经过多轮的迭代才能完成项目的建设：
模型应用：第三阶段中经过 PoC 和商业验证的模型，需要开发为特定的大数据分析应用才能最终为使用者所使用并发挥价值。在模型应用过程中，注意模型的规约和使用条件，注意与现有系统的融合。
系统开发：系统开发工作是保证模型应用环节有效达成的手段，同时通过系统开发能力可以开发出围绕大数据分析应用的外围系统。
效果评价：效果评价环节，主要是组织相关干系组织与干系人，对实施效果进行研讨和确认，同时对利益共识进行确认和达成一致，如果没有达到预期效果则继续进行迭代改进。
业务验证：业务验证工作是保障大数据分析应用项目真正可以融合于业务、服务于业务的重要手段，业务验证建议从业务流程是否通畅、关键业务点是否达到预期目标、是否对业务办理产生障碍等等多方面进行。验证人员需要是使用该大数据分析应用系统的一线业务人员。
如果上述的环节发现了重大问题，则针对问题形成改进方案后进入迭代改进环节。
迭代改进：迭代改进分为小迭代和大迭代，小迭代是在同一期项目中完成的，受到项目上线周期的制约，小迭代可以改进的问题是有限的、小型的。对于影响范围巨大，难度较高的问题需要进入大迭代改进，大迭代一版来说可以规划为项目的二期、三期等等，直到达成预期的战略意图、战略规划和商业目标。
经过上述的 Action 环节，一个成功的大数据应用项目终于落地了，这也仅仅是落地的开始，接下来的工作是检验项目成果和真正发挥大数据价值的时刻：
实施推广：围绕项目的战略意图、规划和商业目标，进行有效的实施推广工作将变得非常重要，良好的实施推广工作可以真正让大数据应用分析项目用起来，让数据 ” 活 ” 起来，源源不断产生价值。推广过程，要巧妙的运用各个干系部门和干系人之间的利益共识。
数据安全：大数据项目有自己的特点就是一切都围绕数据来展开，说到数据就会涉及到一些隐私数据、高密级数据等等，不管在开发过程中、还是在推广过程中，亦或是在第二阶段的数据治理过程中，都需要严格遵守相关信息安全和数据保密的规划，从技术上和使用上都要保证数据的安全。数据安全是一个大数据项目真正可以成功的重要内容。
第五阶段：商业价值
前面四个步骤阶段工作很好的完成后，就是享受大数据应用项目成果的时刻了，相信在前面四个阶段的各个环节中，各个项目参与人员都受到了或多或少的各种折磨，不过这些折磨都是值得的，因此大数据项目真正可以为企业带来不可以预想的巨大价值，只有上马了成功大数据项目的企业才能深深体会到。
在这个阶段中，企业获得了：
数据资产：企业的数据资产是大数据应用项目带来的重要成果，也是推动企业创新、产业升级、企业转型等等的财富。
数据服务：通过大数据应用项目的实施，可以有效推动企业的数字化转型工作，围绕数据资产形成数据服务的能力。
决策支持：通过大数据的预测分析能力，有效提升了企业的决策支持能力。
有效获取了内部商业利益价值、外部商业利益价值，真正去实现了企业建设大数据应用项目的战略意图、战略规划和商业目标。
题外话：
如果企业的大数据能力和人员有限，上述路线图中提到的每个步骤阶段，都可以引入供应商来协助企业完成。既可以选择一家供应商负责完成整个项目过程的建设，也可以分步来实施，在不同的阶段选取不同的供应商来完成。
一般来说，建议后面三个阶段最好选择一家有综合能力的供应商来总包实施，这样可以更好完成项目的预期目标。
下图大致总结了选择合作伙伴的一点参考，仅供参考：
大数据项目落地路线图，供应商选择参考
以上是 ” 大数据项目如何落地?” 路线图，是一些项目心得，也可以说这些是实践出来的观点，期望对大家有所帮助。
作者:xhdqyg，大连理工大学硕士