首页 > 编程知识 正文

hdc cloud(华为布局ipfs)

时间:2023-05-03 05:41:43 阅读:82983 作者:2936

最近,华为云OBS目标存储服务OBSA-HDFS组件代码完成了开源社区同行评审,并正式融入Apache Hadoop社区。 华为云计算分离大数据方案正式被社区批准,客户通过社区获得最新的OBSA-HDFS组件版本,标志着华为云可以快速完成大数据平台的部署和使用。

所有OBSA-HDFS组件都称为Huaweicloudobsadapterforhadoopsupport,通过使用OBSA-HDFS,可以将存储分离到Huawei云中的Hadoop大数据平台

当然,除了客户端组件外,华为OBS在服务端的数据多协议功能为实现储蓄分离提供了技术保证。 由于传统的对象存储服务不支持本机文件协议,因此大数据方案的rename必须执行复制和删除两种操作的组合,并且不能更改文件目录。 复制操作会消耗宝贵的IO资源,延迟较高。

华为OBS的数据多协议支持POSIX文件语义,通过元数据结构和操作的双重优化,可以快速完成文件的重命名。 经过测试,在大数据场景中,对100MB的文件进行了重命名操作,华为OBS比传统对象存储的性能提高了10倍以上。

由于性能惊人的提高,华为云BigData Pro储蓄分离大数据解决方案使用OBS代替了Hadoop的本地HDFS存储,完全解除了计算资源和存储资源的耦合,独立扩展,大数据分析的性价比平均为35% 构建云上统一的数据湖,可以消除数据孤岛,降低数据共享难度,减少数据冗余,提高数据使用效率。

目前,华为云BigData Pro解决方案服务于斗鱼、美图、蘑菇街、“lalamove”、长虹等行业知名客户。

将来,我们还将致力于提高公共云场景中的Hadoop效率。

Hadoop是Apache基金会的顶级项目,是业界领先、使用最广泛的分布式系统框架,用户可以轻松地开发和运行Hadoop处理大量数据的APP。

HDFS是Hadoop实现的分布式文件系统(Hadoop分布式文件系统),为大量数据提供高吞吐量、高可扩展性、高可靠性、高容错性的存储。

自2006年成立以来,Hadoop改变了企业数据的存储、处理和分析过程,形成了极其丰富的技术生态圈。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。