本文由必示科技算法总监qsdwn心基于2020国际AIOps挑战赛主题演讲整理，重点介绍了必示科技在INFOCOM 2020、ICSE SEIP 2020、ESEC/FSE 2020上发表的三篇论文成果和核心方法，并给出了行业预警
首先介绍背景，从大型互联网公司过去一年遇到的服务障碍可以看出服务障碍对企业的利润和用户体验产生了非常大的影响。 例如，亚马逊2018年的Prime Day活动，一小时的停机时间损失了约1亿美元。
目前许多工作都关注运输领域服务质量保证和可靠性的提高，但由于大规模软件服务的复杂性，故障无论如何也不可避免。
告警数据挖掘的方向及痛点
为了保证软件服务的质量和用户体验，减少经济损失，故障的智能分析很重要，主要集中在三个方向。
故障的发现，即如何及时、准确地发现故障； 故障诊断，即如何快速准确地诊断故障原因； 故障预测是指如何早期预警故障，避免故障。 智能分析现有的监视警报数据。 即预警数据挖掘在故障智能分析中起着什么作用，能解决什么样的痛点呢？
我们在故障发现领域发现，告警等级决策策略忽视了影响故障发现的时效性； 在故障诊断过程中，承运人通常面临的预警风暴在严重影响诊断效率的故障预测中，预警信息在故障引起业务损失之前已经有很多迹象，说明预警中的危险信号没有被有效捕获，故障预警非常困难。
对此，我们提出了相应的预警数据挖掘方法：
自适应的告警动态定级；
告警风暴摘要；
基于告警的事件预测。
以下具体说明痛点问题。
01 告警定级策略不合理，影响故障发现时效性
警告和故障的发现通常是两个步骤。 第一步检测异常，检测到异常后，通过第二步聚合和分级策略产生告警信号。 报警信号是运输技术人员发现故障、处理故障、介入故障的重要来源。
由于软件服务的规模和复杂性越来越大，出现故障时往往会发出大量警告。 当大量警告发生时，运输工程师感到困惑。 哪个警告最严重？ 我应该首先看哪个警告？ 经验丰富的运输工程师可以抽丝剥茧，及时命中，但往往呈现混乱状态。
以实际事例为例，金融客户在早上10点45分通过用户电话发现故障，但截至10点45分有故障相关警告，例如响应时间上升到500ms。 但是，由于手动设置的阈值，警告级别不够高，没有引起工程师的注意。
不准确的预警分级方式会导致严重的预警漏报，工程师在排除故障时也会花费大量时间处理无意义的非严重预警。 这表明准确的警告等级判定算法有助于及时发现故障。
02 告警风暴影响故障诊断的效率
这是运输业者面临的重创。 当软件体系结构变得复杂时，业务拓扑之间的关系会发出警告。 一个系统会引起警告，很多系统会发出暴风雨般的警告。 软件体系结构也是如此，硬件拓扑网络也是如此。 当基础路由器引起问题时，整个硬件会从底部向上发出警报，从而引起警报风暴。
需要注意的是，当出现服务故障和警报风暴时，APP应用程序体系结构具有许多组件，每个组件都有自己的监视数据，并会相应地发出警报。 另外，硬件拓扑和软件之间存在复杂的依赖关系，这些警告和故障之间会不断传递。
在警报风暴的情况下，运维管理员的课题是，发生了什么，哪个警报与故障相关，警报风暴的核心内容是什么？ 手动检查所有警告不仅费时费力，而且容易出错。
03 告警的隐患信号未被有效捕捉，故障预警困难
学术界现有的故障预测方法存在一些局限性。 第一次挑战中，我介绍了微软进行的利用磁盘SMART数据进行磁盘故障预测的论文。 随后，我们实验室也利用开关日志进行了开关故障预测，利用节点性能指标进行了节点故障预测，利用工业设备日志进行了设备故障预测。
但是，许多方法都是专门为磁盘故障、节点故障、交换机故障等故障设计的，没有通用性。 另外，这些方法大多利用指标和日志数据提取具有预测作用的征兆特征，训练开销非常大。 另外，我们希望用轻量的警告数据进行事件预测，但现有的方法中，有的只把各类警告的数量作为特征来考虑，实际的表现并不理想。
以上是学术界的情况，但工业界也没有利用警报数据进行故障预测的有效方案。
首先，我们经常听说根据专家知识和运输经验，总结事件预测的规则。 例如，如果联机报警符合规则，则可能会发生相应的事件。 但是，基于规则的预测方法实际上经常出现误报、漏报。 分析其原因是，维护和制定规则需要足够的运输经验，需要时间。 不同的工程师制定规则的偏好不同，难以拥有统一标准的服务系统总是经历不断的反复变更，固定规则难以适应动态环境。
其次，基于频繁项集挖掘进行探索，认为经常出现的警告有一些征兆，但在实际落地尝试中，金融业工程师反馈的方法覆盖面较小。 警告数据
的复杂性和告警内容中混杂的参数，大多数事件都没有对应的频繁项告警，所以这类方法在金融数据中心可用性并不高。