rabbitMQ集群方式,grafana elasticsearch

说明依赖JDK的环境可以根据elasticsearch7.10.2、kibana7.10.2、ik分词器版本elasticsearch7.10.2下载kibana7.10.2，将ik分词器

除非另有说明，否则所有配置中的每台服务器都保持一致的ES安装1，下载并解压elasticsearch7.10.2，然后解压到每台服务器的一个位置即可。 下载并解压缩kibana7.10.2包后，只需在hadoop300节点上放置一个即可。 其他节点可以不按以下hadoop300所示配置。 其他节点是

[ Hadoop @ Hadoop 300 app ] $ pwd/home/Hadoop/app [ Hadoop @ Hadoop 300 app ] $ ll总用量0lrwxrwxrwx. 1 hadoop hadoop 51 1月21日143336661日elastic search-7.10.2 lrwxrwxrwx.1 Hadoop Hadoop 41月13日2:24JDK-/home/Hadoop/app/madoop JDK1.8.0_ 212 drwxrwxr-x.8 Hadoop Hadoop 101月21日14336023 manager lrwxrwxrwx.1 Hadoop Hadoop 61月21日193:57 kiba na-/kibana-7.10.2-Linux-x86_642，配置环境变量编辑vim ~/.bash_profile文件添加如下，配置每个服务器

#=============elastic search==============exportes _ home=/home/Hadoop/app/elastic (配置每个服务器节点。 ）

[ Hadoop @ Hadoop 300 plugins ] $ pwd/home/Hadoop/app/elastic search/plugins [ Hadoop @ Hadoop 300 plugins ] $ mkdir ik [ elastic search/plugins/ik/[ Hadoop @ Hadoop 300 download ] $ [ Hadoop @ Hadoop 300 ik ] $ ll总用量4400-rw-rw-r---1 Hadoop Hadoop 4504401月21日21336037 elastic search-analysis-ik-7.117 $ unzipelasticsearch-- 1 $ ll总用量5832-rw-r---r---1 Hadoop Hadoop 2639655月6日2018 commons-codec-1.9.jar-rw-r--.1 hadoophadop rw-r----r----1HadoopHadoop54626月18日10336056 elastic search-analysis-ik-1 Hadoop 4504440 1月21日21336037 elastic sears oopHadoop736658月6日2018日HTTP op hadoop 326724 5月6日2018 httpcore-4.4.4.jar-rw-r---r---1 Hadoop Hadoop 1807月18日2018日56plugin-security.policy4、更改ES群集配置$ { es _ home }/config/elastic search.yml配置文件更改hadoop300节点的配置

# E

lasticsearch集群名称cluster.name: ES-CLUSTER# 集群中该Elasticsearch节点的名称, 不可与其他节点相同node.name: node-1# 设置存放Elasticsearch索引数据的文件目录path.data: /home/hadoop/app/elasticsearch/data# 设置存放日志文件的文件目录path.logs: /home/hadoop/app/elasticsearch/logs# 该Elasticsearch节点绑定的IP地址或者主机名network.host: hadoop300# 配置Elasticsearch集群中所有节点绑定的IP地址或者主机名列表。discovery.seed_hosts: ["hadoop300", "hadoop301", "hadoop302"]# 配置哪些节点可以有资格被选为主节点。cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]

hadoop301 节点的配置同上,除了下面两个属性

node.name: node-2network.host: hadoop301

hadoop303 节点的配置同上,除了下面两个属性

node.name: node-3network.host: hadoop302 5、Elasticsearch集群统一启动/停止脚本 [hadoop@hadoop300 shell]$ pwd/home/hadoop/shell[hadoop@hadoop300 shell]$ vim es.sh[hadoop@hadoop300 shell]$ chmod ug+x es.sh[hadoop@hadoop300 shell]$ ll-rwxrwxr--. 1 hadoop hadoop 464 1月 14 17:50 es.sh

es.sh内容如下
[Tip]

因为配置了ES的环境变量到~/.bash_profile 下所以可以直接使用elasticsearch命令. 当然也可以写该脚本的绝对路径即可.ssh远程执行命令默认不会加载这个bash_profile环境变量,所以手动source一下 # 集群列表list=(hadoop300 hadoop301 hadoop302)case $1 in"start"){ for i in ${list[@]} do echo ---------- Elasticsearch[ $i ]启动 ------------ ssh $i "source ~/.bash_profile;elasticsearch -d -p pid" done};;"stop"){ for i in ${list[@]} do echo ---------- Elasticsearch[ $i ]停止 ------------ ssh $i "source ~/.bash_profile;pkill -F ${ES_HOME}/pid" done};;"status"){ for i in ${list[@]} do echo ---------- Elasticsearch[ $i ] 集群状态 ------------ ssh $i "curl http://$i:9200/_cat/health?ts=false" done};;"list"){ echo ---------- Elasticsearch[ $i ] 集群列表 ------------ curl http://`hostname`:9200/_cat/allocation};;esac

然后将该脚本挂载到全局调用即可, 配置环境变量或者软连接挂载到 系统眯眯眼的世界目录下

6、启动测试

启动ES

# 启动集群[hadoop@hadoop300 ~]$ es.sh start---------- Elasticsearch[ hadoop300 ]启动 ---------------------- Elasticsearch[ hadoop301 ]启动 ---------------------- Elasticsearch[ hadoop302 ]启动 ------------[hadoop@hadoop300 ~]$ xcall jps--------- hadoop300 ----------9796 Elasticsearch10324 Jps--------- hadoop301 ----------6162 Elasticsearch6596 Jps--------- hadoop302 ----------5926 Elasticsearch6361 Jps#集群状态, green代表健康[hadoop@hadoop300 app]$ es.sh status---------- Elasticsearch[ hadoop300 ] 集群状态 ------------ % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0ES-CLUSTER green 3 3 0 0 0 0 0 0 - 100.0%100 42 100 42 0 0 2930 0 --:--:-- --:--:-- --:--:-- 3000---------- Elasticsearch[ hadoop301 ] 集群状态 ------------ % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0ES-CLUSTER green 3 3 0 0 0 0 0 0 - 100.0%100 42 100 42 0 0 3495 0 --:--:-- --:--:-- --:--:-- 3818---------- Elasticsearch[ hadoop302 ] 集群状态 ------------ % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0ES-CLUSTER green 3 3 0 0 0 0 0 0 - 100.0%100 42 100 42 0 0 3209 0 --:--:-- --:--:-- --:--:-- 3230[hadoop@hadoop300 ~]$ es.sh list---------- Elasticsearch[ ] 集群列表 ------------0 0b 4.5gb 21.1gb 25.7gb 17 hadoop300 192.168.13.115 node-10 0b 3.1gb 22.5gb 25.7gb 12 hadoop302 192.168.13.117 node-30 0b 3.1gb 22.5gb 25.7gb 12 hadoop301 192.168.13.112 node-2

浏览器访问 任意节点的9200端口查看ES信息

如访问hadoop300:9200

Kibana安装

直接修改kibana.yml 配置文件即可

[hadoop@hadoop300 config]$ pwd/home/hadoop/app/kibana/config[hadoop@hadoop300 config]$ ll总用量 12-rw-r--r--. 1 hadoop hadoop 4926 1月 21 20:02 kibana.yml-rw-r--r--. 1 hadoop hadoop 216 1月 13 10:07 node.options

kibana.yml 配置如下

# Kibana 访问地址server.host: 0.0.0.0# elasticsearch集群列表elasticsearch.hosts: ["http://hadoop300:9200","http://hadoop301:9200","http://hadoop302:9200"]

然后 执行kibana 命令启动即可

[hadoop@hadoop300 眯眯眼的世界]$ pwd/home/hadoop/app/kibana/眯眯眼的世界[hadoop@hadoop300 眯眯眼的世界]$ ll总用量 12-rwxr-xr-x. 1 hadoop hadoop 835 1月 13 10:07 kibana-rwxr-xr-x. 1 hadoop hadoop 776 1月 13 10:07 kibana-keystore-rwxr-xr-x. 1 hadoop hadoop 813 1月 13 10:07 kibana-plugin[hadoop@hadoop300 眯眯眼的世界]$ ./kibana

默认端口是5601, 浏览器访问

ES启动失败问题

ES启动对系统配置有一定要求

1、linux 文件句柄数过低问题[ file descriptors]

问题描述: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

解决: 修改linux 文件描述符大小设置

sudo vim /etc/security/limits.conf

修改如下:

* soft nofile 65536* hard nofile 131072

查看修改后的文件句柄数

[hadoop@hadoop300 眯眯眼的世界]$ ulimit -a | grep openopen files (-n) 65536 2、vm.max_map_count 过低问题

max_map_count表示限制一个进程可以拥有的VMA(虚拟内存区域)的数量

问题描述: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决: 修改/etc/sysctl.conf 文件

修改如下:

vm.max_map_count=262144

之后重启服务器,查看此时的大小

[hadoop@hadoop300 眯眯眼的世界]$ sysctl vm.max_map_countvm.max_map_count = 262144 10、打赏 如果觉得文章有用,你可鼓励下作者(支付宝)