首页 > 编程知识 正文

嘉兴大数据暨分布式存储,分布式存储如何实现

时间:2023-05-04 18:25:20 阅读:171179 作者:1059

随着人工智能、机器学习领域技术的持续进步,以及国家“新基础设施”战略的推进,新技术和应用加速了传统行业的数字化转型,数据呈几何级增长。 海量数据被分析,在挖掘中创造无限价值。

互联网企业纷纷在数据存储和管理上投入重金加大数据中心建设,阿里将2000亿美元投向云操作系统、服务器、芯片等技术研发事项,应对海量数据的到来,腾讯乘胜出资5000亿美元…… 随着物联网、人工智能和5G的快速发展,预计到2023年,存储体系结构中的或40%将是分布式体系结构。

分布式存储体系结构分布式存储最初由谷歌提出,旨在解决大规模、高并发场景下的高效Web访问问题。

分布式存储是指将用户需要存储的数据存储在不同的存储服务器上,然后由多台存储服务器分担存储压力。 将这些分散的存储空间用作虚拟数据存储设备,如果用户想获取数据,根据规则从相应的磁盘空间中检索数据。 简单来说,可以理解为大量的PC通过网络相互连接,对外作为整体提供存储服务。

分布式存储的必要性存储方式的优越性本身就是对各种数据的访问表现,关于数据存储有以下几点

海量:大数据背景下出现海量数据,数据显示2025年全球新创数据达到175ZB。

多变量:非结构化数据(如文本、图像和视频)对数据存储提出挑战

实时:智能网络场景,如交通自动驾驶,需要依靠高速实时的数据采集、分析和存储。

上云:未来,许多企业将选择多云的部署模式。

空间:目前只有约0.2%的数据用于数据分析,表明我国数据存储能力存在差距。

分布式存储的若干重大改进1、高性能

分布式存储通过将热点区域中的数据投影到高速存储上,并在不再是热点区域时,系统自动删除高速存储来缩短响应时间。

2、支持分级存储

由于分布式存储是通过网络耦合连接的方式,分布式存储可以分为高速存储和低速存储进行部署。 对于不可预测的使用场景和要求实时的APP应用,此分层存储方案解决了提取数据延迟高、整体性能低下的问题。

3、弹性扩展

由于网络的强大可扩展性,分布式存储可以灵活地扩展存储容量。 理论上,节点可以扩展到数千个。 此外,当节点扩展时,旧数据会自动迁移到新节点,从而使整体负载更均衡,避免单点过热。

4、存储系统标准化

经常使用分布式存储、行业标准界面进行存储。 通过提取异构存储资源并将操作封装到面向存储资源的操作中,可以集中管理存储资源,并自动执行整个存储过程,包括创建、回收和修改。 这样,用户就可以在不同介质之间实现灾难恢复,并减少存储购买。

5、可应对云存储和大数据的发展

由于移动端存储空间有限,以及多台设备之间频繁存在共享资源的需求,网络磁盘和云相册等云存储日益流行。 云存储的核心其实是后端的大规模分布式存储。 此外,大数据不仅需要存储大量数据,还需要使用工具分析数据。 这离不开分布式存储。 此外,其实互联网后端体系结构也与分布式存储有关,掌握它也有助于理解其他技术。

分布式数据存储的三个要素1、数据类型我们需要存储的数据通常分为三类。

结构化数据

通常是指姓名、性别、年龄等数据之间存在较强相关性的数据,通过二维表结构逻辑表达和实现,颜色遵循数据格式和长度规范。 一般使用分布式关系数据库进行存储和查询。

半结构化数据

半结构化数据是介于结构化数据和非结构化数据之间的数据类型,是结构化的数据,但结构会有很大的变化。 例如,在HTML文档的情况下,半结构化数据经常可以用键值对的形式来表示。 通常使用分布式键值系统进行存储和使用。

非结构化数据

它突破了关系数据库不易更改和数据长度的限制,特点是数据之间相关性低。 文本内容、报告、视频等都是非结构化数据。 在ElasticSearch中搜索。

2 .数据片和数据复制数据片,具体地说,将一个数据分成两个或多个小块,不在片之间共享服务器资源。 将数据保存到相应的存储节点,或从相应的存储节点获取所需的数据。 优点是在促进级别增长的同时,缩短查询响应时间,减少延迟,提高用户体验。

在分布式存储系统中,数据复制是必不可少的,因为如果某个节点发生故障,并且只采用了分片技术,则该节点上的数据很可能会丢失。 实际上,在分布式存储系统中,数据片和数据复制通常是共存的。

3 .保存数据对于3种数据,有3种对应的保存方式。

分布式数据库。 用表存储结构化数据。 典型的分布式数据库包括MySQL Sharding、Microsoft SQL Azure和Alibaba OceanBase。

一种分布式键值系统,通过键值对存储半结构化数据。 常用的分布式键值系统有Redis、Memcache等。

>分布式存储系统,通过文件、块、对象等,存储非结构化的数据。常见的分布式存储系统有 Ceph、GFS、Swift 等。

了解更多~

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。