大集群場景特點數(shù)據(jù)規(guī)模大：監(jiān)控對象targets多，數(shù)千萬時序數(shù)據(jù)time-series，單Prometheus負載非常高。

當series數(shù)據(jù)超過300萬時，Prometheus內存增長較為明顯，需要使用較大內存的機器來運行。壓測過程中，我們使用了工具去生成預期數(shù)目的series，工具生成的series每個label的長度及值的長度都較小，固定為10個字符左右。我們的目的是觀察相對負載變化，實際生產(chǎn)中由于label長度不同，服務發(fā)現(xiàn)機制（比如Pod頻繁重啟）的消耗不同，相同的series數(shù)目所消耗的負載會比壓測中高不少。目前Argus有好幾個集群的采集端Prometheus消耗內存在30G以上，這會導致查詢效率下降，嚴重的會導致OOM，有的大集群內存消耗達幾百G。 想要做好運維監(jiān)控，這個命題很大，可想而知不是只要做好一件兩件的事就能實現(xiàn)，必定是成體系、成規(guī)范。信創(chuàng)統(tǒng)一運維監(jiān)控管理產(chǎn)品

國產(chǎn)信創(chuàng)設備、軟件監(jiān)測管理之路面臨這兩大問題與挑戰(zhàn)。挑戰(zhàn)一：信創(chuàng)產(chǎn)業(yè)帶來IT標準的重構，很多公司的系統(tǒng)軟硬件需要符合信創(chuàng)標準，而這時的產(chǎn)品還處于可用階段，在這期間會產(chǎn)生許多問題，為保障業(yè)務運維的安全，亟需一個可以兼容信創(chuàng)體系和支持國產(chǎn)化環(huán)境部署的監(jiān)測軟件對其進行監(jiān)測管理。挑戰(zhàn)二：大部分企業(yè)信創(chuàng)設備特用機房有多個品牌的國產(chǎn)化設備，需要一個系統(tǒng)既能監(jiān)測國外設備，又能監(jiān)測國外設備，而很多企業(yè)，特別是國外的監(jiān)測軟件，不支持監(jiān)測信創(chuàng)的設備與信創(chuàng)的軟件。如何建設運維監(jiān)控系統(tǒng)IT運維監(jiān)控所包含的產(chǎn)品功能強大、易于使用、解決方案齊全，可一站式滿足用戶的各種IT管理需求。

監(jiān)控貫穿應用的整個生命周期。即從程序設計、開發(fā)、部署、下線，監(jiān)控是需要站在公司的業(yè)務角度去考慮，而不是針對某個監(jiān)控技術的使用。監(jiān)控的目標包括：對系統(tǒng)不間斷的實時監(jiān)控。實時反饋系統(tǒng)當前狀態(tài)。保證服務可靠性安全性。保證業(yè)務持續(xù)穩(wěn)定運行。

運維監(jiān)控方法包括：健康檢查。健康檢查是對應用本身健康狀況的監(jiān)控，檢查服務是否還正常存活。日志。日志是排查問題的主要方式，日志可以提供豐富的信息用于定位和解決問題。調用鏈監(jiān)控。調用鏈監(jiān)控可以完整的呈現(xiàn)出一次請求的全部信息，包括服務調用鏈路、所耗時間等。指標監(jiān)控。指標是一些基于時間序列的離散數(shù)據(jù)點，通過聚合和計算后能反映出一些重要指標的趨勢。

運維監(jiān)控的流程包括：

發(fā)現(xiàn)問題:當系統(tǒng)發(fā)生故障報警，我們會收到故障報警的信息定位問題:故障郵件一般都會寫某某主機故障、具體故障的內容，我們需要對報警內容進行分析，比如一臺服務器連不上:我們就需要考慮是網(wǎng)絡問題、還是負載太高導致長時間無法連接，又或者某開發(fā)觸發(fā)了防火墻禁止的相關策略等等，我們就需要去分析故障具體原因。解決問題:當然我們了解到故障的原因后，就需要通過故障解決的優(yōu)先級去解決該故障。總結問題:當我們解決完重大故障后，需要對故障原因以及防范進行總結歸納，避免以后重復出現(xiàn)。 Argus運維監(jiān)控系統(tǒng)配有Syslog 日志接收和分析。

Argus運維監(jiān)控系統(tǒng)基于ZABBIX的預處理及自動發(fā)現(xiàn)功能，有效整合PROMETHEUS。

環(huán)境復雜 ：在現(xiàn)有的架構環(huán)境中，既有虛擬主機，又有 Kubernets 集群 

監(jiān)控工具多 ： 在現(xiàn)有的環(huán)境中的監(jiān)控工具既有zabbix，又有 prometheus § Zabbix的監(jiān)控項及Prometheus的配置仍為大量的 手工操作 § 每套工具有單獨的技術棧，維護成本高 

無統(tǒng)一化告警人管理 ：zabbix及grafana中都有告警人配置

數(shù)據(jù)采集 ： Prometheus 負責Exporter及 Kubernets集群的 監(jiān)控項采集，并單獨于Kubernets集群外部署 § Zabbix負責虛擬主機監(jiān)控項的采集 

事件處理 ： Zabbix 通過HTTP agent 方式查詢不同的 prometheus 采集節(jié)點，并通過監(jiān)控項模板中監(jiān)控項 的預處理及自動發(fā)現(xiàn)功能自動創(chuàng)建不同應用名稱的監(jiān) 控項及監(jiān)控項閾值 § Zabbix 通過不同監(jiān)控項的當前數(shù)據(jù)判斷閾值并觸 發(fā)不同閾值級別下相應的動作 § 各閾值動作通過應用名關聯(lián)不同的用戶組，觸發(fā) 釘釘通知到對應的研發(fā)團隊 即使零經(jīng)驗的小白用戶，也可以通過Argus管理IT運維監(jiān)控，執(zhí)行運維監(jiān)控管理。機房統(tǒng)一運維監(jiān)控管理產(chǎn)品

在運維監(jiān)控中怎么樣才算是故障，要報警呢？比如CPU的負載到底多少算高，用戶態(tài)、內核態(tài)分別跑多少算高？信創(chuàng)統(tǒng)一運維監(jiān)控管理產(chǎn)品

監(jiān)控是一項非常重要的運維工作，尤其對于一些比較重要的業(yè)務，如果沒有監(jiān)控，就只能等著用戶反饋。常見的開源監(jiān)控軟件有 Cacti、Nagios、Zabbix、Smokeping 和 Open-falcon 等。Cacti 和 Smokeping 傾向于基礎監(jiān)控，成圖非常漂亮。Cacti、Nagios 和 Zabbix 服務端監(jiān)控中心需要 PHP 環(huán)境支持，其中 Zabbix 和 Cacti 需要安裝 MySQL 作為存儲數(shù)據(jù)庫。Nagios 不用存儲歷史數(shù)據(jù)，注重服務或監(jiān)控項的狀態(tài)。Zabbix 會獲取服務或監(jiān)控項目的數(shù)據(jù)，把數(shù)據(jù)記錄到數(shù)據(jù)庫中，可以成圖查看。Argus是基于Zabbix的IT運維監(jiān)控平臺，打造完整的Iaas&Paas兼容感知解耦Zabbix版本限制，生態(tài)無縫兼容 信創(chuàng)統(tǒng)一運維監(jiān)控管理產(chǎn)品

上海觀縱科技有限公司正式組建于2022-11-14，將通過提供以webfunny前端監(jiān)控，webfunny前端埋點，全鏈路應用性能監(jiān)控，Argus-IT運維監(jiān)控等服務于于一體的組合服務。觀縱科技經(jīng)營業(yè)績遍布國內諸多地區(qū)地區(qū)，業(yè)務布局涵蓋webfunny前端監(jiān)控，webfunny前端埋點，全鏈路應用性能監(jiān)控，Argus-IT運維監(jiān)控等板塊。我們在發(fā)展業(yè)務的同時，進一步推動了品牌價值完善。隨著業(yè)務能力的增長，以及品牌價值的提升，也逐漸形成傳媒、廣電綜合一體化能力。觀縱科技始終保持在傳媒、廣電領域優(yōu)先的前提下，不斷優(yōu)化業(yè)務結構。在webfunny前端監(jiān)控，webfunny前端埋點，全鏈路應用性能監(jiān)控，Argus-IT運維監(jiān)控等領域承攬了一大批高精尖項目，積極為更多傳媒、廣電企業(yè)提供服務。