首页 > 编程知识 正文

搭建文件传输服务器,分布式文件系统设计的需求

时间:2023-05-06 10:56:27 阅读:41464 作者:75

如何选择应用于分布式文件系统的存储服务器? 属于分布式存储技术领域。 在分布式群集环境中,对于客户端的文件写入请求,元数据管理服务器在选择数据存储服务器时会综合考虑存储服务器的节点状态,如存储空间利用率、内存利用率和CPU利用率,从而实现当前服务器的整体作为评估数据存储服务器选择方法的依据,避免了存储空间不足、服务器CPU、内存等属性丰富的节点延迟和失败的数据存储任务,提高了分布式文件系统的存储任务效率。

【技术实现步骤概要】

如何选择要应用于分布式文件系统的存储服务器

本专利技术涉及分布式存储器

更准确地说,这是一种选择应用于分布式文件系统的存储服务器的方法。

技术介绍

随着云计算的飞速发展,IT行业进入了“云”时代,云计算产生了大量的数据存储。 传统的文件系统已经无法满足其性能要求,分布式文件系统作为云存储的核心基础平台的重要性日益凸显。 分布式文件系统是指将分布在不同服务器上的文件分组到单个名称空间中,并在网络上构建单个分层文件系统。 分布式文件系统采用可扩展的系统结构,实现了冗馀存储、文件同步、系统容错、故障恢复等本来需要手动实现的功能,大大降低了维护难度,提高了系统的可靠性、可用性和访问效率分布式文件系统主要采用主从式服务器体系结构,将文件数据分成一定大小的文件块,分散存储在网络连接的多个计算机节点上。 该模型存在以下问题:分配给某些节点的文件块太多,而其他节点空闲,导致系统数据存储服务器之间的块分配不平衡。 如何选择数据存储服务器是分布式文件系统研究的核心之一,是否有良好的数据存储服务器选择方法直接影响系统的性能。 在将现有APP应用于分布式文件系统的存储服务器选择方法中,当系统执行文件写入操作并选择存储服务器时,存储服务器性能的衡量标准是单一的,可以综合考虑当前存储服务器的性能日本特愿201110259333.2号、专利技术名为"分散系统的服务负荷分散方法及装置"的专利技术专利,在进行负荷分散时考虑了服务器的负荷状况和对应的各互联网通信量,但没有考虑存储服务器的存储容量利用率,而是分散存储问题其他现有的分布式文件系统体系结构考虑存储服务器的存储空间,但不考虑服务器的负载性能。 进行分布式存储处理时,无法综合考虑服务器的性能。

实现技术上的想法

针对以上缺点和不足,为了解决分布式文件系统中存储服务器选择方法评价标准相对单一的问题,本专利技术提出了一种选择应用于分布式文件系统的存储服务器的方法。 为了实现上述目,本专利技术在分布式集群环境中,在元数据管理服务器对来自客户端的写文件请求选择存储服务器时,综合包含存储空闲率、存储器使用率、CPU使用率在内的存储服务器的节点状态使用线性评价函数模型计算存储器性能权重值,动态评价当前服务器的整体性能,作为存储服务器的选定方法的评价的依据的方法是: (1)对存储服务器的性能评价值Ci分配初始值Ci的初始值大于0且小于1的随机数, 当客户端请求写文件时,元数据管理服务器轮询存储服务器,选择具有评估值Ci1的存储服务器,执行写文件操作,当评估值Ci1的存储服务器数小于所需的文件副本数时,存储服务器存储服务器性能权重采用存储空间利用率si、存储器利用率memi、CPU利用率cpui、线性加权评估函数模型。 存储服务器性能权重wi可以表示为wi=k1sik2(1-memi ) k3 )1-cpui。 其中,totalspacei表示存储服务器的总存储空间,usedspacei表示存储服务器已经使用的存储空间,k1、k2和k3分别表示节点状态的存储空间存储服务器存储空间的空闲率越大,存储器使用率越小,CPU使用率越小,wi的权重越大(3)更新存储服务器的性能评价值将上述计算出的存储服务器的性能权重值wi和存储服务器的性能评价值Ci相加,生成4 )对存储服务器性能评价值Ci进行排序选择最大值进行写文件操作,按从大到小的顺序对存储服务器的性能评价值Ci进行排序,选择性能评价值Ci最大的存储服务器进行写文件操作,客户端写入的文件块(5)文件写入操作结束后,将选定存储服务器的性能评估值Ci减1 (即,更新为Ci=Ci-1,步骤)1),并将更新后的Ci作为下一循环的初始值。 本技术的有益效果是,针对分布式文件系统中的客户端写文件操作,考虑数据存储服务器的存储空闲率、服务器内存使用率、CPU使用率等服务器节点的状态,使用线性评价函数模型计算内存性能的权重,并避免存储容量利用率、CPU利用率和内存利用率等属性的全节点延迟和丢失数据传输任务

败,提高存储任务的效率。附图说明图1为本专利技术方法的流程示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步说明,但不限于此。实施例:本专利技术实施例如图1所示,一种应用于分布式文件系统的存储服务器选择方法,在分布式集群环境中,针对客户端的写文件请求,元数据管理服务器在选择存储服务器时,综合考虑存储服务器的节点状态,包括存储空间空闲率、内存使用率和CPU使用率,采用线性评价函数模型计算存储器性能权重值,动态评价当前服务器的整体性能,作为存储服务器选择方法的评价依据,该方法步骤如下:(1)为存储服务器的性能评价值Ci赋初值Ci初始值为大于0小于1的随机数,当客户端发起写文件请求时,元数据管理服务器对存储服务器进行轮询,选择评价值Ci>1的存储服务器进行写文件操作,当评价值Ci>1的存储服务器个数小于所需文件副本数时,则根据存储服务器的性能权重值wi更新存储服务器的性能评价值Ci;(2)计算存储服务器的性能权重值wi综合考虑服务器的性能评价标准,存储服务器的性能权重用以下几个指标综合量度:存储空间空闲率si,内存利用率memi,CPU利用率cpui,采用线性加权评价函数模型,存储服务器的性能权重值wi可以表示为:wi=k1×si+k2(1-memei)+k3(1-cpui)其中,存储空间空闲率totalspacei表示存储服务器的总存储空间,usedspacei表示存储服务器已使用存储空间,k1、k2、k3分别为节点状态存储空间空闲率、内存使用率和CPU使用率的加权系数,k1、k2、k3的值根据经验确定,并且满足k1+k2+k3=1;由wi的计算公式可以看出,存储服务器的存储空间空闲率越大,内存利用率越小,CPU利用率越小,wi的权值越大;(3)更新存储服务器的性能评价值根据上述计算的存储服务器的性能权重值wi与存储服务器的性能评价值Ci相加,以更新存储服务器的性能评价值,即Ci=Ci+wi,直至性能评价值Ci大于1的存储服务器个数等于所需文件副本数;(4)对存储服务器性能评价值Ci排序并选出最大值进行写文件操作将存储服务器性能评价值Ci从大到小进行排序,选出性能评价值Ci最大的存储服务器,进行写文件操作,将客户端所要写入的文件块存入所选的存储服务器;(5)写文件操作结束后,将所选的存储服务器的性能评价值Ci减1,即更新为Ci=Ci-1,然后转入步本文档来自技高网...

【技术保护点】

一种应用于分布式文件系统的存储服务器选择方法,在分布式集群环境中,针对客户端的写文件请求,元数据管理服务器在选择数据存储服务器时,综合考虑存储服务器的节点状态,包括存储空间空闲率、内存使用率和CPU使用率,采用线性评价函数模型计算存储器性能权值,动态评价当前服务器的整体性能,作为数据存储服务器选择方法的评价依据,该方法步骤如下:(1)为数据存储服务器的性能评价值Ci赋初值Ci初始值为大于0小于1的随机数,当客户端发起写文件请求时,元数据管理服务器对数据存储服务器进行轮询,选择评价值Ci>1的数据存储服务器进行写文件操作,当评价值Ci>1的数据存储服务器个数小于所需文件副本数时,则根据存储服务器的性能权重值wi更新存储服务器的性能评价值Ci;(2)计算存储服务器的性能权重值wi综合考虑服务器的性能评价标准,存储服务器的性能权重用以下几个指标综合量度:存储空间空闲率si,内存利用率memi,CPU利用率cpui,采用线性加权评价函数模型,存储服务器的性能权值wi可以表示为:wi=k1×si+k2(1‑memi)+k3(1‑cpui)其中,存储空间空闲率totalspacei表示存储服务器的总存储空间,usedspqcei表示存储服务器已使用存储空间,k1、k2、k3分别为节点状态存储空间空闲率、内存使用率和CPU使用率的加权系数,k1、k2、k3的值根据经验确定,并且满足k1+k2+k3=1;由wi的计算公式可以看出,存储服务器的存储空间空闲率越大,内存利用率越小,CPU利用率越小,wi的权值越大;(3)更新存储服务器的性能评价值根据上述计算的存储服务器的性能权值wi与存储服务器的性能评价值Ci相加,以更新存储服务器的性能评价值,即Ci=Ci+wi,直至性能评价值Ci大于1的存储服务器个数等于所需文件副本数;(4)对存储服务器性能评价值Ci排序并选出最大值进行写文件操作将存储服务器性能评价值Ci从大到小进行排序,选出性能评价值Ci最大的存储服务器,进行写文件操作,将客户端所要写入的文件块存入所选的数据存储服务器;(5)写文件操作结束后,将所选的数据存储服务器的性能评价值Ci减1,即更新为Ci=Ci‑1,然后转入步骤(1),更新后的Ci作为下一次循环的初始值。...

【技术特征摘要】

1.一种应用于分布式文件系统的存储服务器选择方法,在分布式集群环境中,针对客户端的写文件请求,元数据管理服务器在选择存储服务器时,综合考虑存储服务器的节点状态,包括存储空间空闲率、内存使用率和CPU使用率,采用线性评价函数模型计算存储器性能权重值,动态评价当前服务器的整体性能,作为存储服务器选择方法的评价依据,该方法步骤如下:(1)为存储服务器的性能评价值Ci赋初值Ci初始值为大于0小于1的随机数,当客户端发起写文件请求时,元数据管理服务器对存储服务器进行轮询,选择评价值Ci>1的存储服务器进行写文件操作,当评价值Ci>1的存储服务器个数小于所需文件副本数时,则根据存储服务器的性能权重值wi更新存储服务器的性能评价值Ci;(2)计算存储服务器的性能权重值wi综合考虑服务器的性能评价标准,存储服务器的性能权重用以下几个指标综合量度:存储空间空闲率si,内存利用率memi,CPU利用率cpui,采用线性加权评价函数模型,存储服务器的性能权重值wi可以表示为:wi=kl×si+k2(1-memi)+k3(1-cpui)...

【专利技术属性】

技术研发人员:wmdqz,hdsdmt,

申请(专利权)人:山东大学,

类型:发明

国别省市:山东;37

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。