自2016年Gartner提出AIOps智能運(yùn)維以來，諸多中國云計(jì)算、大數(shù)據(jù)和運(yùn)維管理廠商都推出了AIOps解決方案，然而這些實(shí)踐多是針對特定IT環(huán)境和應(yīng)用場景進(jìn)行智能化處理，放到其他行業(yè)或企業(yè)中就很難適用，這也限制了企業(yè)用戶對AIOps的認(rèn)知和嘗試。
云智慧作為國內(nèi)最早開始探索AIOps智能運(yùn)維的獨(dú)立解決方案提供商，在過去兩年里陸續(xù)為數(shù)十家不同行業(yè)、不同應(yīng)用場景的大型企業(yè)成功實(shí)施了智能運(yùn)維，積累了豐富的智能運(yùn)維應(yīng)用場景和解決方案，并率先實(shí)現(xiàn)了AIOps智能運(yùn)維的產(chǎn)品化、場景化和實(shí)用化。接下來這段時(shí)間，我們會為大家介紹云智慧AIOps智能運(yùn)維平臺的智能告警、根因分析、智能預(yù)測等產(chǎn)品模塊，及其在不同用戶場景的應(yīng)用價(jià)值，希望為大家正確理解和選擇AIOps提供參考。
企業(yè)IT系統(tǒng)運(yùn)行過程中會產(chǎn)生海量日志數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)，這部分?jǐn)?shù)據(jù)既滿足大數(shù)據(jù)的屬性，又隱藏著巨大的業(yè)務(wù)價(jià)值，因此企業(yè)進(jìn)行AIOps實(shí)踐多是從智能告警入手。今天我們就來介紹智能告警的第一個(gè)環(huán)節(jié)——告警抑制。
告警抑制典型應(yīng)用場景
中大型企業(yè)的IT應(yīng)用系統(tǒng)龐大而復(fù)雜，設(shè)備數(shù)量動輒成千上萬，任何一個(gè)小小的IT問題都有可能引發(fā)“告警風(fēng)暴”。所謂告警風(fēng)暴是指在短時(shí)間內(nèi)系統(tǒng)產(chǎn)生大量告警消息，這些消息有的是由某種共同因素引發(fā)，互相之間存在一定關(guān)聯(lián)，有的則沒有任何關(guān)系。
以云智慧服務(wù)的某大型企業(yè)為例，某次告警風(fēng)暴產(chǎn)生時(shí)，平均每分鐘800+條告警消息，運(yùn)維人員每天接收各類告警消息多達(dá)2萬條，導(dǎo)致運(yùn)維人員疲于應(yīng)付大量的告警消息，需要耗費(fèi)更多時(shí)間排查和處理問題，大大降低了運(yùn)維效率，而且由于無法第一時(shí)間發(fā)現(xiàn)根源問題，延誤了故障處理時(shí)間，往往會給業(yè)務(wù)運(yùn)行帶來潛在風(fēng)險(xiǎn)。
壓縮比高達(dá)90% 告警抑制功能特點(diǎn)
常規(guī)的運(yùn)維監(jiān)控產(chǎn)品都是根據(jù)固定閾值觸發(fā)告警，這種監(jiān)控方式會頻繁遇到告警報(bào)錯(cuò)、漏報(bào)、告警風(fēng)暴等問題，嚴(yán)重干擾運(yùn)維人員的工作效率。云智慧AIOps智能運(yùn)維平臺的告警抑制產(chǎn)品針對海量的、持續(xù)的冗余告警消息，通過智能算法結(jié)合固定規(guī)則的方式對告警消息進(jìn)行告警壓縮和告警合并，在保證核心告警內(nèi)容(即不壓縮核心告警內(nèi)容)的前提下抑制告警消息數(shù)量，為運(yùn)維人員提供有效的告警信息。
云智慧智能運(yùn)維平臺告警抑制流程
我們把相同告警源產(chǎn)生的重復(fù)消息進(jìn)行壓縮的過程叫告警壓縮，告警壓縮是實(shí)現(xiàn)告警抑制的前提和基礎(chǔ)，通過告警壓縮可以減少70~80%的重復(fù)告警，并在此環(huán)節(jié)把告警消息(Message)生成為警報(bào)(Alert)。接下來，將不同告警源產(chǎn)生的警報(bào)按照規(guī)則、算法進(jìn)一步合并的過程叫告警合并或告警收斂。通過告警合并，告警消息的壓縮比可提升到80%~90%。
下面用幾個(gè)實(shí)例來解釋一下云智慧智能運(yùn)維平臺的告警抑制流程。
例1：告警壓縮
用戶利用 Zabbix 對服務(wù)器BJ_Pay_ngix_1進(jìn)行監(jiān)控，監(jiān)控了 CPU Load，監(jiān)控頻率為10s。在13點(diǎn)24分開始觸發(fā) CPU Load 告警，并且持續(xù)了8分鐘未恢復(fù)，整個(gè)期間產(chǎn)生了50條重復(fù)告警消息，通過云智慧智能運(yùn)維平臺的告警抑制，將50條消息壓縮為1條警報(bào)(Alert)，并可以通過時(shí)間線功能，查看整個(gè)生命周期內(nèi)的告警分布情況。
例2：告警合并(告警收斂)
主機(jī)BJ_Web服務(wù)1產(chǎn)生 CPU、內(nèi)存使用率的告警，同時(shí)同一個(gè)集群的 BJ_Web 服務(wù)2也產(chǎn)生了 CPU和內(nèi)存使用率的告警，通過告警壓縮生成4個(gè)警報(bào)(Alert),通過告警合并將集群內(nèi)所有警報(bào)合并為一個(gè)告警事件(Event)。當(dāng)然，也可以基于業(yè)務(wù)線對業(yè)務(wù)告警、APM 告警等警報(bào)進(jìn)行合并，然后通過時(shí)間線功能，查看多個(gè)警報(bào)之間的時(shí)間順序，來初步判斷告警的根因情況。
以上是云智慧AIOps智能運(yùn)維平臺告警抑制功能的基本原理，此產(chǎn)品不但能接入云智慧自有的監(jiān)控寶、透視寶等告警源，還可以通過REST API 、Agent、URL 回調(diào)等方式對主流監(jiān)控Zabbix、Nagios的告警數(shù)據(jù)進(jìn)行接?，或根據(jù)客戶需求對特定告警源進(jìn)行定制化接入。此外，用戶可配置各類抑制規(guī)則，設(shè)置 事件通知的分派策略，獲得更高壓縮比、更快速的智能告警。
如今，云智慧AIOps智能運(yùn)維平臺的告警抑制產(chǎn)品已經(jīng)在金融、航空、地產(chǎn)、制造、政企等多個(gè)行業(yè)通過線上環(huán)境的生產(chǎn)驗(yàn)證。由于客戶類型和業(yè)務(wù)系統(tǒng)的差異，實(shí)際壓縮率可高達(dá)95%，并做到了核心內(nèi)容零損耗。
告警抑制典型案例
某大型企業(yè)集團(tuán)擁有在線商城、辦公系統(tǒng)、財(cái)務(wù)系統(tǒng)等核心系統(tǒng)，涉及到多地多個(gè)機(jī)房和幾十套應(yīng)用子系統(tǒng)，頻繁的告警消息對運(yùn)維工作造成了極大干擾。為避免此類干擾，該集團(tuán)的運(yùn)維人員只能臨時(shí)關(guān)閉若干系統(tǒng)的監(jiān)控功能，但這種方式導(dǎo)致了業(yè)務(wù)系統(tǒng)與基礎(chǔ)環(huán)境的監(jiān)控缺失，無法有效實(shí)時(shí)掌控整個(gè)運(yùn)維環(huán)境的運(yùn)行。
云智慧工程師根據(jù)對歷史故障的分析，把該企業(yè)的故障分為幾類：
•閃斷類：故障發(fā)生后迅速自愈
•重復(fù)類：單個(gè)對象的一個(gè)或多個(gè)指標(biāo)持續(xù)告警
•范圍性故障：某個(gè)區(qū)域或某個(gè)集群出現(xiàn)范圍性故障，范圍內(nèi)的多個(gè)對象短期內(nèi)同時(shí)出現(xiàn)告警
當(dāng)以上幾類告警在發(fā)生時(shí)，運(yùn)維人員需要第一時(shí)間區(qū)分故障類型，才能快速定位問題。通過部署云智慧智能運(yùn)維平臺，利用REST API、Agnet 采集等方式對接各個(gè)監(jiān)控系統(tǒng)，將告警消息進(jìn)行統(tǒng)一匯聚和整合，然后進(jìn)行有效的告警抑制處理，大幅降低告警事件的數(shù)量和告警發(fā)送的頻率，同時(shí)提高了告警通知的精度。
某次故障發(fā)生后，某地?cái)?shù)據(jù)中心短期內(nèi)出現(xiàn)了上千條的告警消息，經(jīng)過壓縮合并后抑制成了幾十條警報(bào)和不到10個(gè)事件，壓縮率達(dá)到了95%以上。部署云智慧智能運(yùn)維平臺三個(gè)月以來，該企業(yè)運(yùn)維人員每天接收告警數(shù)量從人均182條降低到了25條，同時(shí)整個(gè)運(yùn)維團(tuán)隊(duì)的平均接手時(shí)間(MTTA)和平均解決時(shí)間(MTTR)都大幅縮短。
附注：Gartner于2018年7月13日發(fā)布的《Hype Cycle for ICT in China, 2018》中，云智慧成為AIOps領(lǐng)域的Sample Vendors。
申請創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
