首页 > 编程知识 正文

大数据利用过程哪四个步骤,大数据处理解决方案

时间:2023-05-06 04:32:02 阅读:53248 作者:4837

步骤地图:

1 )数据摄取

部署大数据解决方案的第一步是从多个来源提取数据的数据捕获。 数据源可以是诸如Salesforce的CRM、诸如SAP的企业资源规划系统、诸如MySQL的RDBMS或其他日志文件、文档、社交媒体源等等。 可以通过批处理作业或实时流导入数据。 将提取的数据保存到HDFS中。

2 )数据存储

提取数据后,下一步是保存提取的数据。 数据可以存储在HDFS或NoSQL数据库(即HBase )中。 HDFS存储适合顺序访问,而HBase适合随机读/写访问。

3 )数据处理

部署大数据解决方案的最后一步是数据处理。 数据在Spark、MapReduce、Pig等处理框架之一中进行处理。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。