首页 > 编程知识 正文

100个必会的shell脚本,elasticsearch导入大量数据

时间:2023-05-04 15:02:04 阅读:134418 作者:1578

前情提要: 最近,elasticsearch集群存在问题,以前已修复,但现在出现了新的问题。 因此,PM要求导出elasticsearch每天制作的索引数、索引数,需要对机器进行评价 在客户现场无法访问elasticsearch集群(在生产环境中,客户不允许),在dashboard中打开pod )资源有限,无法顺利操作),寻找其他恶魔之路,寻找dashboard 接下来,我开始放13。 (我做饭13,狗头保命) )。 # curl-xget ' localhost IP :9200/_ cat/indices? v' | grep xxx /tmp/xxx.indices '此步骤用于将elasticsearch中的indices重定向到文件。 elasticsearch收集的日志中,有一部分是产品日志,另一部分是客户日志,因此是为了保密协议/usr/bin/envbashset-epwd=$ (CD ` dirname $0` ); pwd ) year=2020 month=12 day=$ (seq-w131 ) file=testdir=$ { pwd }/total mkdir $ { dir } fori in $ { day } dokb=$ END {print sum/1024/1024} ' ) echo '${year}-${month}-${i}共计: $ { kb } GB ' $ { dir }/$ { fine }.incho awk-f ' MB ' {打印$1} '| awk ' end {打印sum/1024 } ' ) echo '${year}-${month}-${i}共计: $ { MB } awk ' {打印$ nf }| grep GB| awk-f ' GB ' {打印$1} '| awk'{sum=$$ END {print sum} ' ) echo '${year}-${month}-${i}共计: $ { GB } GB ' $ { dir }/$ {文件. awk-f ' : ' {打印$ nf }|awk-f ' GB ' { sum=$1} end {打印sum } ' ) echo '${year}-${month}-${i} . indices.txt | wc -l ) Echo(${year}-${month}-${I}共:${wc}条($ { dir }/$ { file }.indices.$ { year }-$ { mon . indices.total.txt sleep 10 RM-RF $ { dir }.indices.total.txt readme :1,一个月31天,因此脚本将生成31个文件。 为了不影响平时的操作,在脚本执行结束后,将获取的信息输出到终端。 然后,所有收集这些信息的文件都将删除。 2、了解elasticsearch导出的信息模板。 ) 3、统计数据大小的单位,我默认为GB。 我不怎么用awk。 因此,最终合计后,有科学计算的符号bmdxgz。 )如果大佬看了之后知道优化方法,请告诉我(4、关于变量: 4.1、请使用year为年、month为月、day的seq命令)。 两者都是两位数的日期(4.2,file是指在第一个导出的indices文件中过滤的字段。 我的文件名格式为test.indices.txt。 使用时,需要注意。 否则,会发生错误。 4.3、dir是脚本执行时创建的目录,是在脚本所在目录下创建的以下目录,便于以后直接删除目录,避免意外删除文件4.4、kb 过滤store.size的列的kb大小的indices,用awk进行合计(mb和gb相同) 4.5,total将kb和mb换算成gb的数字和gb的数字进行合计,1天的索引的总大小为4.6,wc为1 脚本逻辑: 5.1、按for循环、awk剪切,过滤store.size列,细化kb、mb、gb,截取数字进行换算和求和,最终默认单位为gb 5.2、for规则通过“grep总计”将每天的indices信息重定向至xxx.indices.total.txt,用cat输出到终端,休眠10秒钟,然后删除脚本生成文件6、“脚本在我自己的环境中进行了测试” 以上内容。商业用途(开源万岁) elasticsearch模板(公司相关信息协调,这些都不重要) healthstatusindexuuidprirepdocs.count docs.deleted store.size pri.store.sizegreenopenxxx-XXX-IP 3360 port-20051525xxxxx

x.indices.2020-12-01.txt :2020-12-01共计:27.5024gb/tmp/total/

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。