首页 > 编程知识 正文

文件存储(碎文件存储方案)

时间:2023-05-04 17:39:53 阅读:76736 作者:2331

文件存储方案FastDFS

FastDFS介绍用c语言编写的开源轻量级分布式文件系统。 功能包括文件存储、文件访问(文件上传、文件下载)和文件同步,解决了大容量存储和负载平衡问题。 非常适合相册网站、视频网站等以文件为媒体的在线服务。 为了定制互联网,我们充分考虑了冗馀备份、负载平衡、线性扩展等机制,重视高可用性、高性能等指标。 构建高性能的文件服务器集群,提供文件上传、下载等服务。 • FastDFS体系结构包括客户端、跟踪器服务器和存储服务器。 客户端要求Tracker上传、下载文件,Tracker安排存储完成文件的上传和下载。 通过客户端、业务请求源和自己的接口使用TCP/IP协议与Tracker或Storage交换数据。 FastDFS为客户端提供upload、download、delete等接口。 • Tracker server :跟踪服务器,主要进行调度工作,起到负载平衡的作用。 将群集中所有存储组和存储服务器的状态信息记录在内存中是客户端和数据服务器交互的中枢。 存储服务器—存储服务器(存储节点或数据服务器)。 文件和文件属性存储在存储服务器中。 Storage server直接利用操作系统的文件系统调用来管理文件。 • Storage组的横向可扩展,纵向可备份。

FastDFS执行流程:

1 .商场将图像上传到客户端客户端2 .客户端将请求转发到调试存储服务器Tracker3.存储服务器tracker调试哪些存储文件(storage )可用5 .调试存储服务器Tracker并将storage_ip传输到客户端; 6 .客户端根据storage_ip找到存储服务器的位置。 7 .保存文件后,将位置返回客户端; 8 .客户端将响应结果file_id转发到商场; 9 .商场将file_id存储存储存储到MySQL数据库的开发人员需要1、8和9操作,其他fastDFS完成的Storage场将横向扩展并纵向备份

FastDFS文件索引

可以看到,• FastDFS上载和下载过程涉及一个名为文件索引(file_id )的数据。

文件索引(file_id )是客户端上载文件后Storage返回给客户端的字符串,是以后访问该文件的索引信息。

文件索引(file_id )信息包括组名称、虚拟磁盘路径、数据辅助目录和文件名等信息。

组名称文件上载到的Storage组的名称。

虚拟磁盘路径存储配置的虚拟路径。 与磁盘选项store_path*对应。 如果配置了store_path0,则为M00;如果配置了store_path1,则为M01等。

数据级2目录Storage服务器在每个虚拟磁盘路径下创建的用于存储数据文件的二级目录。

文件名:由存储服务器基于特定信息生成,包括:源存储服务器的IP地址、文件创建时间戳、文件大小、随机数、文件扩展名等信息

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。