GFS分布式文件存储系统(理论)
发布时间： 2020-05-20 22:59:32
资料来源： 51CTO
阅读： 260
作者： wx5d2c2d660c282
GlusterFS概述
GlusterFS概述
开源分布式文件系统
它由存储服务器、客户端和NFS/Samba存储网关组成
无元数据服务器
RDMA:负责数据传输
GlusterFS的特征
可扩展性和性能
高可用性
全局统一的命名空间
灵活的卷管理
基于标准协议
GlusterFS术语
积木：存储节点
卷：卷
•FUSE :内核模块，客户端交互模块
VFS :虚拟端口
群集：服务
模块化堆栈体系结构
模块化堆栈式体系结构
通过模块组合，实现负责任的功能
GlusterFS动作模式
APP—客户端或APP应用程序从GlusterFSync装载点访问数据
•VFS:linux系统内核通过VFS API接收和处理请求
•FUSE : VFS将数据传递到FUSE内核文件系统，而FUSE文件系统通过/dev/fuse设备文件将数据传递到glusterfs客户端
glusterfs客户端； 通过网络将数据传递到远程glusterfs服务器并写入服务器存储设备
GlusterFS的工作原理
GlusterFS工作流
弹性混列算法
用HASH算法得到32位整数
可以划分为n个连续的子空间，每个空间对应于一个积木
弹性混列算法的优点
确保数据均匀分布在所有Brink上
解决了对元数据服务器的依赖，解决了单点故障和访问瓶颈
四个积木节点的GlusterFS卷均匀地分配232次方的区间的范围空间
用混列算法找到对应的brick节点的存储区域，分配数据存储区域，调用各节点的数据
GlusterFS的卷类型
分布式卷
磁带卷
复制卷
分布式条带卷
分布式复制卷
条带复制卷
分布式条带复制卷
分布式卷
文件未被阻止
使用扩展文件属性保存哈希值
支持的基础文件系统包括ext3、ext4、ZFS和XFS
分布式卷具有以下特征
文件分布在不同的服务器上。 没有冗馀性
更简单、更便宜地扩展卷大小
单点故障导致的数据丢失
懒惰的基础数据保护
创建分布式卷
创建一个名为dis-volume的分布式卷
文件基于散列分布在服务器1:/dir 1、服务器2:/dir 2和服务器：/dir 3上
glustervolumecreatedis-volumeserver 1:/dir1server 2:/dir 2
磁带卷
根据偏移将文件划分为n个块(n个条带节点)，并将轮询的存储存储在每个Brick Server节点上
在存储大文件时，性能尤其好
无冗馀，类似于Raid0
由于从多个服务器同时读取文件，因此提高了效率
特长
数据被划分为更小的块，并分布在块服务组中的不同条带上
通过减少负载和减小文件大小，加快访问速度
没有数据冗馀
创建条带卷
创建名为“条带卷”的条带卷
文件被两个Brick阻止并轮询： Server1:/dir1和Server2:dir2
glustervolumecreatestripe-volume stripe 2传输TCP server 1:/dir1server 2:/dir 2
复制卷
在同一文件中保存一份或多份副本
复制模式存储拷贝，因此磁盘利用率低
在多个节点存储容量不一致的情况下，根据桶效应将最小节点的容量作为卷的总容量
特长
完整的副本将保存在卷中的所有服务器上
卷的拷贝数可以在客户创建时确定
至少两个块服务器或更大的服务器
具有冗馀性
创建复制卷
创建名为rep-volume的复制卷、文件时，会同时保存两个副本
glustervolumecreaterep-volume replica 2传输TCP服务器1:/dir 1服务器2:/dir 2
分布式条带卷
兼顾分布式卷和条带卷的功能
主要用于大型文件访问处理
至少需要四台服务器
创建分布式条带卷
创建名为dis-stripe的分布式条带卷并配置分布式条带卷时
卷中Brink包含的存储服务器数必须是条带数的倍数=2倍
glustervolumecreaterep-volume stripe 2传输TCP server 1:/dir1server 23360/dir2server :/dir1server 43360/dir 2
分布式复制卷
兼具分布式卷和复制卷的功能
需要冗馀时使用
创建分布式复制卷
创建名为dis-rep的分布式条带卷并配置分布式条带卷的复制卷时
卷中Brink上的存储服务器必须是条带数的倍数=2倍
glustervolumevolumecreaterep -卷复制2传输TCP server 1:/dir1server 2:/dir2server :/dir1server 43360