本文是58同城信息系统部高级经理ysdmj对大数据在互联网行业的应用进行的总结。 实际经验说明了从雏形到发展的大数据，以及在发展过程中从传统数据仓库到大数据平台的转换和大数据的可视化应用。
大数据模型——的发展
所有公司最初的数据建设都很落后，但随着互联网环境的推进和2013年计划在纽约交易所上市，面临着巨大的问题。 上市前，公司数据无论是流量数据还是财务产品数据都需要经过非常严格的鉴定。 因此，我们开始整理数据，做数据报告，花了一年多的时间进行数据整理，制定数据规范，逐渐在大数据的平台上形成雏形。
此后，公司上市后，数据运营的重点从反映过去和现在的情况转为指导工作、业绩管理、销售支持。
2015-2016两年间，公司将目标投入数据智能，搭建了非常大的系统平台，让整个销售和产品运营体系全面实施数据化运营。 在这个平台上，不仅需要管理销售，还需要建立销售能力模型，预测未来的业绩。 在美国市场的股价多依赖于公司未来的发展，公司当前的股价由公司未来的预期决定，因此合计的业绩预测非常重要，能够非常准确地预测销售更为重要。
大数据平台的建设
公司拥有众多业务数据库，有订单、CRM、合同管理、人事等数据库。 过去，我们整合这些数据库中的数据，制作简单的数据仓库，根据业务需求，根据数据整合，用帆板报告构建决策系统，进行数据展示，提供服务。 这个过程的好处是开发成本低，投资成本低，技术架构简单，可以非常迅速地在公司内部运行。
但是，这种方式随着业务系统的增加，逐渐不适用了。 一是业务数据的多样化、数据的集中管理、数据有效利用的难易度较高，数据的保存能力受到限制，无法追溯遥远的历史数据。 第二，不同的产品经理和工程师往往有不同的需求，而这些需求本身就是交织在一起的。 因此，即使不同团队制定相同的指标，由于数据指标的定义不一致，如果存在意义相近且重复的指标，管理层也很难做出决策。 第三，IT部门的工作压力很大，因为用于分析和运营的数据通道完全依赖于监控自己的数据。
除了以上反映的问题外，公司在未来发展的基础上呈现出新的现状，提出了以下需求
业务多元化发展，公司大量并购导致集团数据量和数据需求爆炸性增长
缺乏对网状流通、基础数据、数据指标的统一元数据管理；
为了更好地发挥数据的价值，提高数据能力，建立标准化的数据体系已成为当务之急。
大数据平台的业务体系结构
集团的业务结构大致可以分为几个内容。 第一个是数据模型师。 主要工作是元数据管理、数据模型的开发、统一的数据标准的建立。 二是数据开发者，对接产品，做一些业务开发。 第三个是业务人员，业务人员是运营、销售、营销人员，在这个地方为了辅助决策进行了很多可视化。 最后是公司的数据分析部门。 对公司非常核心的数据鉴定有很多分析需求，使用独立的数据查询系统实现数据的多维分析。
下图是一种技术架构，在底层存储数据，捕获数据，将存储层的数据传递到处理层，在处理层完成业务计算，形成指标。 然后，前端通过帆板报告APP，将数据以图形方式显示为业务报告，并在移动报告APP中显示。
除此之外，我们在管理方面制定了数据中心建设规范。 然后是数据质量管理，包括确保数据的准确性，为了保证数据的及时性，还确立了运营和管理的规范。 这四者结合起来保证平台的平稳运行。
大数据的可视化
数据可视化是该平台的最后一步，也是应用范围最广的一步。 在这一点上，我们
1、需求来源多：团队需要财务部、销售中心、呼叫中心、管理层等各级部门同时对接，且各部门关注的指标千差万别。
2、报表可视化方式很多：需要通过明细表、明细表、钻头表及各类图表分别满足各部门不同管理职级的需求。 另外，还需要为消费者提供离线报告、实时报告、邮件发送数据等多种途径。
3、定制开发多：为了使公司内部的业务系统对接，需要经常进行定制开发。
因此，需要满足这些需求的可视化报告开发工具。 该块选择了帆板报告，从dldhm传统的数据仓库方法到当前的大数据平台。
好处包括：
类EXCEL设计风格：操作界面大大降低了学习成本。
多数据源支持：访问各部门不同类型的数据库非常方便。
优秀的图标展示： HTML5图表技术支持多种图表类型、样式、风格，参数传递灵活，交互效果丰富。
l友好界面：开发人员使用web脚本、API界面等进行详细的开发和控制，支持插件的开发、安装、使用和管理，以满足定制需求。
可视化演示文稿：
.toutiaoimg.com/origin/11ff00002cba0cc3a315?from=pc">