首页 > 编程知识 正文

大数据平台技术有哪些,大数据分析平台设计

时间:2023-05-04 15:15:43 阅读:53146 作者:768

建设大数据平台的最终目的是服务于业务需求,解决现有业务问题或创造新机会。 业务部门可能不关心是采用大数据技术还是传统的数据库技术,是否采用大数据技术的主要依据是数据量。 如果任务执行时间太长,计算量太大,现有技术无法满足,或者需要处理大量半结构化、非结构化数据,则可能会有大数据诉求。

大数据平台的系统设计包括什么?

1、目录管理系统

目录管理系统用于业务数据的盘点和整理、业务目录的编制发布、数据的收集、处理、管理和共享等的规划和指导。 一般包括目录分类管理、编目、审计和发布功能。

2、数据采集系统

数据采集系统为大数据平台提供基础支撑服务,构建高效、易用、可扩展的数据传输通道。

3、数据资产管理系统

数据资产管理系统的主要职责是标准数据管理、元数据管理、数据资源管理和数据资产清点。

标准数据管理:管理对象形成词典、数据要素(业务端标准化管理业务字段用)、数据标准体系。

元数据管理:元数据是所有系统、文档和流程中所有数据的上下文,是原始数据的知识。

元模型管理:获取和显示不同数据库类型的元模型元素和属性信息

数据源管理:添加、编辑和维护数据库信息

元数据注册:包括表、视图、索引、字段、列族、消息等各种元模型下的元数据;

查看元数据:显示所有已注册的元数据(按数据源),并允许查看元数据关系和血缘关系。

数据资源管理:对数据资源进行目录化管理,形成分层的结构化数据资源智能。

数据目录分类:实现数据目录的分类设置;

创建数据目录:实现数据目录的添加、修改、删除、停止/启动等;

业务目录映射:构成业务目录与数据目录的映射关系;

数据资产盘点:数据资产控制面板,数据资产显示。

4、数据治理系统

数据治理系统用于规范数据的生成和使用,改善数据质量,加工处理数据,提高数据价值。 识别和测量数据质量能力、数据清洗转换能力、数据加工三个核心能力。

数据质量管理:包括规则管理(准确性、完整性、唯一性、一致性、即时性、业务相关性等)、任务部署和检查报告。

数据组织管理:包括格式转换、词典转换、内容转换、任务管理、日志等。

数据加工:模型定义、模型时间表。

5、数据共享系统

数据共享系统依托于数据资源目录,基于数据交换标准,实现跨部门、跨层次、跨区域的数据资源共享交换。 提供资源查看、搜索、申请、使用、下载功能、用户管理和资源批准功能,以及数据库表、服务接口、文件等类型的共享交换功能。

照片

6、数据开发系统

数据开发系统使用大数据或人工智能算法组件分析、挖掘数据,形成数据服务产品。 数据开发管理:包括应用工程管理、计算任务管理、任务调度管理、资源管理等。 APP应用程序开发工具:在线开发IDE、数据源控件库、预处理控件库、模型库、可视控件库、输出控件库、挖掘算法

7、数据分析系统

结合各种业务数据库、数据仓库和大数据平台,为用户提供从基本数据到统计、数据交叉表、自由钻取分析、多维数据分析等多层数据分析功能。 用户只需用鼠标拖动指针和维即可生成数据分析结果。 它还为分析结果的可视化展示提供了丰富的统计图表。

企业要开展大数据业务,首先要根据自身需求设计构建数据系统平台。 大数据系统平台的构建需要根据实际需求进行系统架构规划。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。