首页 > 编程知识 正文

java分布式文件系统,分布式移动存储系统

时间:2023-05-04 01:14:29 阅读:41491 作者:3135

典型的分布式文件系统是FastDFS、GFS、HDFS、Lustre、Ceph、GridFS、TF等。

传统方案方式弊端:

用户越多,I/o操作就越多,访问磁盘的压力也就越大,如果磁盘出现故障,数据就会丢失。 存储容量有限;分布式文件存储优点:

解决了传统方式的单点故障问题,如果一个节点发生故障,其他节点可以用于读取和写入文件,可以提供数据备份以避免损坏导致的文件丢失,还提供了fkddg机制,使文件中的另一方面,FastDFS简介FastDFS是一个开源的轻量级分布式文件系统,为web APP应用定制,简单、灵活、高效,用c语言开发,用阿里巴巴开发,开源。 FastDFS解决了文件存储、文件同步、文件访问(文件上传、文件下载、文件删除)等大容量文件存储问题,特别是在相册站点、文档站点、图像传感器FastDFS充分考虑了冗馀备份、线性扩展等机制,注重高可用性、高性能等指标,使用FastDFS可以方便地构建高性能的文件服务器集群提供文件上传、下载等服务二、FastDFS整体架构FastDFS文件系统由两大部分组成:客户端和服务端。

客户端通常是指我们的程序。 例如,我们的Java程序连接到FastDFS并操作FastDFS。 我们的c,Java程序是客户端。 FastDFS提供专用API访问,当前c、Java和PHP提供几种编程语言的API,以访问FastDFS文件系统。

服务端由两部分组成:追踪器和存储节点。 追踪器主要执行调度任务,并在内存中记录群集中存储节点storage的状态信息。 前端客户端和后端存储节点存储的集线器。 因为所有相关信息都在内存中,所以Tracker server的性能非常好,一个大群集(例如几百个组)中有三台就足够了。 存储节点(storage )用于存储文件,文件和文件属性(meta data )部分存储在存储服务器磁盘上,用于管理文件,包括文件存储、文件同步和提供文件访问跟踪器和存储节点可以由一台或多台服务器组成。 跟踪器和存储节点中的服务器可以随时添加或脱机,而不会影响在线服务。 跟踪器中的所有服务都是对等的,可以根据服务的压力情况随时增减。

为了支持大容量,存储节点(服务器)按卷划分(或分组)进行组织。 存储系统由一个或多个卷组成,卷和卷之间的文件是相互独立的,所有文件的总容量是整个存储系统的文件容量。 一个卷可以由一个或多个存储服务器组成,一个卷下的存储服务器上的所有文件都相同,卷中的多个存储服务器起到冗馀备份和负载平衡的作用。1.架构图:

2 .上传过程

客户端查询tracker上传的存储,不需要其他参数; 跟踪者返回可用的存储; 客户端直接与storage通信以完成文件上传3 .下载过程

客户端询问tracker下载的文件的存储。 参数为文件id (组名和文件名); 跟踪者返回可用的存储; 客户端直接与storage通信以完成文件下载

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。