首页 > 编程知识 正文

构建大数据平台,大数据平台搭建步骤

时间:2023-05-04 20:57:30 阅读:53250 作者:2773

2.1警告系统此模块用于显示监视过程中对集群不合理指标值(全局参数控制)发出警告的2.1.1警告配置警告阈值

单击参数可以调整报警阈值

2.1.2启动停止警告服务单击“启动”,启动警告服务并立即发送警告邮件

每15分钟(全局参数控制)重新检查警告邮件并发送。 页面显示警告消息2.1.3页的警告页,并显示警告

单击右上角的邮件图标以查看警告的详细信息

2.1.4邮件警告

2.2巡检该模块实现了集群自动化巡检和巡检报告的生成,包括基础巡检和深度巡检两大块。 基础巡检基础巡检范围主要涉及集群架构配置、主机运行状况、集群运行状况和参数配置。 每个电子侦察模块的用户可以参与主观分析结果,即定制填写分析结论和调整建议。 深度巡检深度巡检用于深度分析聚类的潜在性能和配置问题。 它有助于从规划和体系结构优化群集。 有关详细信息,请参阅, HDFS文件目录信息HDFS管理报告HDFS快照信息FSCK文件系统健康诊断YARN基本信息群集度量调度队列应用信息应用统计信息群集节点信息HBASE表快照信息表与Region关系HBCK 现场统计分析数据存储格式分析表分区表存储分布分析2.2.1基础巡检用户可以自定义选择需要巡检的内容

单击“基础巡检”,依次检查各指标,直到提示“巡检完成”

单击“查看巡检报告”,以下是部分截图。

主机状况

单击“编辑”可以添加主观分析的结论和建议

以下是导出为PDF的实地验证报告的示例:

2.2.2深度巡查开始前,提前建立巡检方案(见“知识库”=“解决方案”部分)选择集群后,单击“深度巡查”,打开已经建立的巡检方案,如下

单击“运行方案”,然后选择“全部运行”或“执行断点”以完成屏幕捕获。

2.3知识库系统旨在提供灵活配置的自动化智能运输系统。 它包括运输工具箱、最佳做法和解决方案三个块。 2.3.1运输工具包日常运输中使用的运输工具命令的集合。 目前支持Linux操作、关系数据库操作、Hadoop集群运输管理、开发和分析操作。 工程师可以根据需要定制添加和删除,包含四种工具。 服务专用shell特定服务的专用shell工具,例如h base shell、hive shell等Linux命令Linux终端可以执行的任意命令,例如Linux服务的启动停止、文件系统的操作和管理等嵌入式工具运输平台数据库操作(如hbase compact操作和hdfs快照操作)与在全局配置--数据库配置中添加的关系数据库进行操作。 例如,创建运输工具箱界面,如删除表、批准操作等。

选择“服务名称”和“运行方式”以筛选查询添加工具

创建过程注意事项:请不要选择“内置工具”的名称。 写入“类似hdfs dfs -mkdir的命令”涉及参数写入写入“参数”,前面带有$。 只有在$HDFS_PATH的执行方式为“数据库操作”时,才需要选择数据库配置2.3.2

选择“类别”、“标签”和“项目组”,添加过滤器查询2.3.2.1的实践

注意事项:实践名称:实践类别必须是唯一的。 通常是服务名称项目组。 确定是发布所有最佳做法,还是在项目组中共享标签。 可以添加任意数量的实践主页2.3.2.2来浏览实践

编辑“实践”界面中的图标和-图标,在下面添加类别和步骤

在新步骤中,会随机生成步骤名称、内容和操作,您可以单击编辑图标更改类别和步骤名称

图标编辑内容主体的内容包括说明和执行代码的第2部分。 说明部分是用markdown格式写的。 内容示例:

运行代码节。 可以选择在“运输工具箱”中创建的工具

也可以单击“自定义操作”以修改用户、参数和说明

2.3.2解决方案解决方案是根据最佳实践创建的、为特定项目环境生成的一键式可执行解决方案。 2.3.2.1创建方案在“最佳实践”页上,在指定实践的“操作”栏中单击“创建方案”

创建解决方案

注:方案名称:必须具有唯一的标签。 可以分配任意数量的变量。 实际参数输入到特定集群环境的参数值主机配置中。 运行Linux命令时,可以选择一个或多个要执行命令的主机

单击“提交”以在“解决方案”页面中显示创建的方案。 图:

单击方案名称可显示方案内容并输入所有参数。

单击“操作”栏中的“执行”,即可一键执行计划

两种执行方式:全部执行:自始至终执行方案断点执行。 执行中存在错误,中途步骤失败后,从断点处执行下一步,单击“全部执行”,成功后如图所示进行提示。

在解决方案主页上,单击“操作”栏中的“日志”可以查看过去的执行情况。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。