可用的高性能日志收集系统平台构建在传统的访问日志分析系统中，数据收集效率低，日志收集目录无法递归侦听，存储系统和计算系统缺乏高可用性，基于分布式群集作为Flume中心角色的代理将Nginx服务器连接到HDFS的过程中，内部有三个组件之一的Source与Nginx服务器下的日志文件对接以获取数据，Channel将其传输到Sink 此过程必须基于Hadoop群集进行。 本项目使用LVS Keepalived Nginx的高可用性负载均衡来构建日志服务器集群。
相关技术： Hadoop集群、LVS关键型nginx、Flume
高可用性高性能目录高可用性高性能日志收集系统平台构建1、项目中包含的模块2、Hadoop安装部署(1) Hadoop群集规划图(2)实施过程3、 安装LVS Keepalived Nginx (一)准备系统环境；二)部署LVS KeepAlived安装；三)部署Nginx )四) realserver.sh配置四、负载平衡和高可用性测试面向日志服务器群集的高可用性日志收集服务部署(一) Flume安装(二) Flume测试)三)高可用性日志收集服务器部署六、高可用性高性能日志收集系统平台总体测试七、高可用性高性能日志收集系统平台故障
1、Flume是一个分布式、可靠、高可用性的大容量日志收集、聚合和传输系统。
下图是Flume的执行机制
2、项目流程图如下。
二、Hadoop安装部署(一) Hadoop集群规划图
(二)实现流程1，将上传的Hadoop解压缩为/opa/apps，根据上述集群规划部署集群
2、编辑六个主要文件： hadoop-env.sh、core-site.xml、mapred-site.xml、yarn-site.xml和workers
3、将配置的Hadoop目录完整复制到mini2和mini3
4、Hadoop集群的首次启动需要在mini1中使用hdfs namenode -format命令
格式化群集并生成包含hdfs数据的文件
5、格式化完成后，启动HDFS集群和YARN集群会，各节点发生以下过程
(1) mini1流程
)2) mini2
(3) mini3
(4) YARN集群web界面： http://mini1:8088/
)5) HDFS web界面： http://mini1:9870/
)6) HDFS数据节点信息
三.安装LVS关键型nginx
(一)系统环境准备1、防火墙关闭
系统停止防火墙d () ) ) ) )。
systemctldisablefirewalld (禁止启动防火墙) ) )。
系统状态防火墙d查看防火墙状态
2、禁用Selinux (安全权限管理模块)
vi /etc/sysconfig/selinux
selinux=禁用
3、密集自由登录配置主机之间的免密ssh登陆
)1)假设mini1登录到mini2、mini3和mini4
在mini1下操作：
首先生成密钥对。 命令如下：
ssh-keygen (出现提示时，直接回到车上即可) ) ) )。
)2)将生产的私钥copy传递给【mini1，mini2，mini3】，命令如下
ssh-copy-id mini1
ssh-copy-id mini2
ssh-copy-id mini3
ssh-copy-id mini4
)二) LVS KeepAlived安装部署1、LVS无需安装，已安装管理工具。 第一个叫ipvsadm，第二个叫keepalive。 ipvsadm在命令行中管理，keepalive读取并管理配置文件。
)1)分别在mini1和mini2上执行此操作： yum -y install ipvsadm
)2)检查车是否已将ipvsadm模块加载到系统： lsmod | grep ip_vs中
)3)将模块加载到系统：modprobe ip_vs中
2、关键型安装
)1)在mini1和mini2上分别执行以下操作： yum-y安装保持有效
)2) mini1的关键配置如下图所示
(3) mini 2关键点配置如下图所示
(三)部署Nginx安装
>1、安装c++依赖: yum -y install gcc pcre-devel openssl openssl-devel（必须执行）。2、解压Nginx安装包, 进入解压好的目录检查安装环境，并指定安装目录./configure --prefix=/opt/apps/nginx.
3、执行make && make install安装成功后有以下四个目录：
conf目录：存放配置文件
html目录：存放静态资源
logs目录：存放日志信息
sbin目录：存放nginx的启动命令
4、修改配置文件。
将默认端口已修改为81，配置如下图
1、此脚本用于节点服务器绑定 VIP ，并抑制响应 VIP 的 ARP 请求。这样做的目的是为了不让关于 VIP 的 ARP 广播时，节点服务器应答（ 因为节点服务器都绑定了 VIP ，如果不做设置它们会应答，就会乱套 ）,配置完后要赋予可执行权限。
2、详细配置，如下图所示
1、启动Keepalived
2、启动nginx
3、运行realserver.sh脚本: sh realserver.sh start
4、页面访问http://192.168.80.100:81/
5、 mini1上执行：ipvsadm -ln, 检查连接情况，结果如图所示便搭建成功
flume安装非常简单,解压即可使用,但前提是已有 hadoop 环境上传安装包到数据源所在节点上
（二）Flume 测试1、先用一个最简单的例子来测试一下程序环境是否正常
2、测试结果通过,过程如下图
1、实际生产环境中 mini3 和 mini4 其中一个有可能会因为某种原因宕机,因此
我们需要将日志文件进行多层冗余,以防止可能的宕机带来的数据损失
2、第一层 agent 采集配置(mini3、mini4 )
3、 第二层 agent 采集配置
目前为止, 高可用高性能日志收集系统平台搭建完毕,下一步进行性能测试
1、mini1,mini2 启动第二层 agent 采集程序,出现新进程
2、在 mini3,mini4 启动第一层 agent 采集程序,出现一下新进程
3、将提前写好的主页部署到 Nginx 服务器上,模拟用户进入主页产生日志
（1） 查看 Nginx 服务器时间
（2）进入主页,反复刷新,产生足够多的日志
（3）查看 hdfs 目录下是否存在上传的日志
（4）日志存在,上传成功, 高可用高性能日志收集系统平台,测试完毕，搭建成功。
七、高可用高性能日志收集系统平台故障测试(一)故障测试
在mini2查找到Flume的进程用kill命令结束进程
为了区分mini3h和mini4的日志，这里直接往nginx服务器的日志文件追加写入
然后进入hdfs的Web端查看日志上传情况
可以看日志文件上传成功，接下来下载日志
下载完成后解压打开第一和第二个日志文件
打开第三个日志文件
日志完整，故障测试通过。 八、项目结语
日志内容有时会包含敏感信息，特别是error日志，直接把系统的具体错误抛出来，所以日志除了查看方便，还需要确保日志文件的安全，本文构建了基于分布式集群的高可用日志分析系统，通过实现安全地日志采集服务。
Nginx直连Flume, 自定义Source组件的Flume对访问日志的采集环节做出改进,采用高可用分布式存储系统HDFS、分析访问日志，为企业提供可靠的日志采集服务。实验分别测试了本系统的实时数据采集、监听、存储系统和分析系统的高可用性。
由实验结果表明，相比传统的访问日志分析系统，本系统在数据采集安全性大大提高，且分布式存储系统HDFS及分布式计算系统均满足高可用行。综合分析可得，本文平台可以更加安全地,稳定地完成访问日志的离线和实时分析所需要的日志需求，已完成本次项目部署。
（注：本项目由团队6人合作完成
成员名单：Aisen，现代的帆布鞋，飞飞，沉静的老师，快乐的高跟鞋，升升）