首页 > 编程知识 正文

分布式消息中间件实战 pdf(分布式爬虫实战)

时间:2023-05-05 13:56:44 阅读:1555 作者:3117

高可用分布式文件系统的组建

传统的单机Web应用的文件管理方式,如上传和使用图片、视频文件,大多是将文件本地存储在服务器上,但这种管理方式无法应用于微服务应用。一方面,微服务应用发布在分布式环境中,可以随时随地部署多个副本,因此其媒体文件必须存储在统一的地方。另一方面,建立独立高效的文件系统也是高可用、高性能应用平台的有机组成部分。

如果租用云服务,可以使用云服务提供商提供的分布式文件系统,比如阿里巴巴云或者腾讯云的对象存储OSs。

接下来,为了加深读者对分布式文件系统的理解,我们使用开源的FastDFS构建了一个高可用的分布式文件系统。

FastDFS架构

FastDFS是一个轻量级的分布式文件系统,使用FastDFS可以构建高可用性和可持续扩展的分布式文件系统。

FastDFS由跟踪器和存储节点组成。跟踪器用于调度来自客户端的请求并记录存储服务器的信息。存储节点用于存储文件及其属性,并同步文件。中文件的存储也是按组(或卷)组织的。构建两个以上的跟踪器,形成一个高可用的分布式文件系统,如图14-1所示。

基于图14-1所示的架构设计,我们将使用四个服务器构建一个高可用的分布式文件系统,代码如下。

追踪器服务器1: 10.10.10.22

跟踪器服务器2:10.10.10.32

存储:10.10.10.23

Storage2:10.10.10.33在此体系结构设计中,添加存储节点可以提高和扩展文件访问性能。安装分布式文件系统后,可以使用Nginx在Web端为文件访问构建负载均衡服务。

本章将使用下图所示的安装包,读者可以自行从网上下载。

libfastcommon-1.0.35.tar.gz

fastdfs-5.10.tar.gz

pcre-8.40.tar.gz

Nginx-1.10.3.tar.gz

FastDFS的安装

以下安装过程应在所有四台服务器上完成。假设所有下载的安装包都放在目录/opt中。

首先,创建FastDFS和Nginx用户:

add fast DFS-m-s/syxdyb/nogin user addnginx-m-s/syxdyb/nogin然后,安装编译环境:

Yum-y安装gcc gcc-c OpenSSL OpenSSL-dev pcre-deve安装libfastcommon,并依次执行以下命令:

焦油-zxVf libfastcommon-1.0.35.tar.gz

CD libfastconly-1 . 0 . 35。/make.sh。/make.sh安装完成后,建立如下所示的软链接,以便安装程序可以找到相关的库文件:

ln-SV/usr/include/fast common/usr/local/include/fast common

ln-SV/usr/include/fastdfs/usr/local/include/fastdfs

ln-SV/usr/lib 64/libfastcommon . so/usr/local/lib/libfastcommon .因此执行以下命令以安装FastDFS:

焦油-zxv fastdfs-5.10.tar.gz

cd fastdfs-5.10。/make.sh

安装后。/make.sh安装后,将输出一个成功标志,然后配置每个服务。

跟踪服务器配置

在Tracker Server机器上,创建数据存储目录:

Mkdir -p /data/fastdfs/tracker执行以下命令以编辑tracker.conf配置:

cd /etc/fdfs

CP tracker . conf . sample tracker . conf

Vi /etc/fdfs/tracker.conf在配置文件:中编辑以下配置

#绑定IP地址,如果为空,表示使用本地IP地址yxdybddaddr=

#港口

端口=22122#连接超时

连接超时=30#日志数据路径

Path=/data/fastdfs/tracker #上传文件时选择组的方法

#0:轮询,1:指定组,2:选择最年轻的铅笔,剩余空间查找=2

#如果上述配置为1,则必须在此处指定组名存储组-group2。

#上传文件时选择服务器的方法

#

0:轮询,1:按IP地址排序,2:按权重排序store server=0 #storage上预留的空间 reserved storage space =10%http.server port=8080

保存并退出,然后使用下列命令启动Tracker Server:

service fdfs trackerd start

使用下列命令查看Tracker Server 监听的端口:

netstat -unltplgrep fdfs

存储节点配置

在 Storage服务器上,创建如下所示的数据存储目录:

mkdir -p/data/fdfs storage/base mkdir -p /data/fdfs storage/storage0 mkdir -p /data/fdfs_storage/storage1

按顺序执行下列命令,编辑存储节点配置:

cd /etc/fdfs cp storage.conf.sample storage.conf vi storage.conf

按下列命令编辑各项内容:

#storage server所属组名group name=group1 #绑定IP地址 yxdybd addr= #storage server的端口port=23000 #连接超时时间 connect timeout=30#日志数据路径 base path=/data/fdfs storage/base#storage path 的个数 store pathcount=2 store path0=/data/fdfs storage/storage0store pathl=/data/fdfs storage/storagel#跟踪服务器 tracker server=10.10.10.22:22122tracker server=10.10.10.32:22122

保存编辑后,使用下列命令启动存储节点:

service fdfs_storaged start

使用下列命令检查服务运行状态:

/usr/yxdyb/fdfs monitor /etc/fdfs/storage.conf

上传文件测试

现在回到Tracker Server机器上(如IP地址为10.10.10.22),使用下列方法进行上传文件测试。

按顺序执行如下命令,编辑客户端配置:

cd /etc/fdfs cp client.conf.sample client.conf vi /etc/fdfs/client.conf

修改下列各项内容:

base path=/data/fastdfs/tracker #Tracker服务器上的文件路径 tracker server=10.10.10.22:22122 #Tracker服务器的IP地址和端口号 http.tracker_server port=8080 # Tracker服务器上的HTTP端口号,必须和Tracker的 #设置一样

假如在/opt 中存在一个图片文件为1.png,则可以使用如下命令上传文件:

/usr/yxdyb/fdfs upload file /etc/fdfs/client.conf /opt/1.png

若上传成功,则返回如下所示的文件信息:

group1/M00/00/00/wKgBGFk3kUqACu9JAAGmMprynZs674.png

本文给大家讲解的内容是微服务架构实战:高可用分布式文件系统的组建,FastDFS架构与安装、 跟踪服务器配置、存储节点配置、上传文件测试

下篇文章给大家讲解的是微服务架构实战:Nginx的安装及负载均衡配置、开机启动;觉得文章不错的朋友可以转发此文关注小编;感谢大家的支持!

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。