本文摘要：背景讲解该共享是阿里妈妈Goldeneye业务监控平台的智能监控解决方案。这个共享主要还包括智能监控的技术构建，以及大规模日志监测数据的自动化终端两部分。我再行讲解一下智能监控部分，下一期共享中我的两位同事将给大家侧重讲解日志分析处置的计算出来存储。 智能监控现在其他一些公司也有在做到，期望通过这次共享需要给大家带给一些新的灵感，也青睐大家需要明确提出问题和建议，互相切磋交流经验。

背景讲解该共享是阿里妈妈Goldeneye业务监控平台的智能监控解决方案。这个共享主要还包括智能监控的技术构建，以及大规模日志监测数据的自动化终端两部分。我再行讲解一下智能监控部分，下一期共享中我的两位同事将给大家侧重讲解日志分析处置的计算出来存储。

智能监控现在其他一些公司也有在做到，期望通过这次共享需要给大家带给一些新的灵感，也青睐大家需要明确提出问题和建议，互相切磋交流经验。——马小鹏涉及厂商内容共享内容的庐山会议如下：Goldeneye智能监控的业务背景、技术思想、技术构建细节、难题和今后的优化方向。嘉宾讲解马小鹏，阿里妈妈全景业务监控平台技术负责人。2013起在阿里专门从事大规模系统日志分析及应用于的研发，曾多次主导了直通车广告主报表平台和动态报表存储选型。

在重新加入阿里之前，曾负责管理网易电商App数据统计资料平台的研发。一、Goldeneye智能监控的背景Goldeneye作为阿里妈妈业务监控平台，主要在业务日志、数据的动态统计分析基础上做到监控报警以及辅助定位。阿里集团内部也有很多杰出的监控平台，它们在开放性上做的很好，终端成本也不低，但是监控阈值也是对外开放给用户自己原作。

这种情况下，对于业务监控人工确保阈值就比较复杂，必须有非常丰富的经验来拍定阈值，必须人工持续的确保有所不同监控项的监控阈值。所以，在业务较慢发展的前提下，传统的静态阈值监控很更容易经常出现了误报、漏报的问题，而且人工确保成本高，监控视野局限。Goldeneye就是在这种基础上，我们试着从大数据应用于的角度，去解决问题业务监控中的问题，由此问世的。

1．业务背景：（1）体量大：Goldeneye现在终端的业务线覆盖面积了阿里妈妈主体的90％业务，每天处置的日志量在100T以上，业务监控必须对各业务线的流量分层级动态监控，核心数据以1分钟为周期，一般监测数据以5分钟或1小时为周期，监控目标十分多，按人工确保这些监控的阈值、启停、生效实质等完全是约将近的。（2）变化多：业务监控的监测数据大都是业务指标，不同于系统运维指标，比如RT／QPS／TPS等一般是比较稳定的，业务指标具备周期性变化的特点，比如工作日和节假日的区别、业务营销策略调整的影响等，在这种情况下人工原作的静态报警阈值准确性就很难确保了。

（3）递归慢：随着阿里妈妈资源整合和业务的较慢发展，监控目标也常常发生变化，比如流量监控资源位的调整、效果监控的产品类型区分等，曾多次经常出现过新的流量上线后的监控盲点。2．技术背景：图1Goldeneye技术背景一般来说的业务监控系统或平台，都是由收集、数据处理、检测、报警等模块构成的，Goldeneye也是如此，不过它的技术架构上用了阿里内部的一些技术中间件，比如收集我们用于TimeTunnel（它有agent在各台日志服务器上拉日志到Topic，并且负责管理将离线日志放在ODPS上），这部分我仍然讲解了。数据处理我们用于的jstorm和ODPSMRjob分别对日志展开动态、离线批处理，主要还包括日志解析、校验、时间周期归一化、单体、写出存储（HBase）等操作者，这部分下一期共享中我的同事不会详尽讲解。

今天的共享主要集中于在阈值预测、监控检测、报警分解＆通报、辅助定位这四部分。二、技术思想智能监控就是让系统在业务监控的某些环节上替换人工继续执行和辨别的过程。人工确保监控目标和阈值是以经验为参照的，系统如何自动辨别哪些目标必须监控、自动原作监控目标的阈值水位、不必人力确保，是基于对历史样本数据统计分析得出结论辨别依据。

通过搜集监测数据的样本，并用于智能检测算法模型，让程序自动对监控项指标的基准值、阈值做到预测，在检测辨别出现异常报警时用于规则人组和均值飘移算法，能准确地辨别必须报警的出现异常点和变点。1．阈值水位自适应变化以往我们加到监控有两种作法：给指标M1设置一个水位线，高于（或低于）水位，启动时报警；给指标M1设置同比、环比波动幅度，比如同比波动20％、环比波动10％启动时报警；以上两种方式，是平时大家常用的监控方式，但是效果确不理想，这种静态阈值长年来看没适应环境变化的能力，必须人工确保，而且报警准确性也依赖同环比数据的稳定性。我们能否让系统不具备自动适应环境变化的能力，自动调整阈值水位？就如同手动挡的汽车替换成自动挡一样，可以根据速度自己调节档位。2．监控项自动找到当我们的监控系统不具备预测动态阈值的能力后，监控项的确保否也可以转交系统去做到？有可能大家也曾遇上过类似于的情况，原有的监控项早已没数据了，新的监控目标却因为各种原因被漏掉，人工确保监控项必须及时实时上下线更改，但是当我们必须监控的目标有一千个、一万个甚至更好的时候，人力是无法仍然第一时间这些监控项的确保工作的，或者说这种工作较为单调更容易被忽视。

我们能否将辨别如何检验监控项的规则转交系统，让它去定期检查哪些监控项早已实质，哪些监控项必须追加，哪些监控项的阈值必须调节。这种找到规则是平稳的，意味着是依据找到规则得出结论的监控项内容在大大变化而已。3．过滤器误报时欲擒故纵当我们的监控系统不具备预测动态阈值、自动找到并确保监控项的能力后，如何超过不漏报和不误报之间的均衡？对于监控而言，漏报是不能忽视的，但是误报过多也更容易使人麻木。一般来说的作法是为了不被误报阻碍至麻木，不会把阈值调节得严格些，但是这种作法更容易产生漏报，特别是在是暴跌不过于显著的情况。

本文来源：南宫28圈官网-www.kubernetek.com