国产丝袜精品丝袜一区二区,日本午夜在线观看播放,日本泡妞岁18XX免费软件

深度學習（DL）雖然在日志異常檢測中得到了不少應用，但在實際輕量級運維模型選擇中，必須仔細考慮異常檢測方法與計算成本的關(guān)系。具體來說，盡管深度學習方法在日志異常檢測方面取得了出色的性能，但它們通常需要更長的時間來進行日志預處理、模型訓練和模型推斷，從而阻礙了它們在需要快速部署日志異常檢測服務的在線分布式云系統(tǒng)中的采用。

本文對現(xiàn)有的基于經(jīng)典機器學習和深度學習方法的日志異常檢測方法進行了實證研究，并提出了一種自動化日志異常檢測評估框架LightAD。

1. 日志異常檢測介紹

日志是AIOps領(lǐng)域需要處理的常見數(shù)據(jù)，是程序運行過程中由代碼打印出的一些非結(jié)構(gòu)化的文本信息，日志通常由時間戳和文本信息組成。日志實時記錄了系統(tǒng)的運行狀態(tài)，包括正常運行狀態(tài)和故障發(fā)生時的狀態(tài)。因此通過收集和分析日志，可以快速檢測和定位出系統(tǒng)中存在的異常。

本文研究了深度學習方法在日志異常檢測中與更簡單技術(shù)相比的優(yōu)越性，在五個公共的日志異常檢測數(shù)據(jù)集上對輕量級傳統(tǒng)機器學習方法（如KNN、SLFN）和深度學習方法（如CNN、NeuralLog）進行了全面的評估。

本文的研究結(jié)果表明，通過合適的數(shù)據(jù)處理方式，輕量級機器學習方法能夠在時間效率和準確性方面都優(yōu)于深度學習方法。為了評估深度學習方法的必要性，本文提出了一種自動化的日志異常檢測模型評估框架LightAD。LightAD是一種基于貝葉斯優(yōu)化器的優(yōu)化訓練時間、推斷時間和性能得分的評估框架。通過自動化超參數(shù)調(diào)優(yōu)，LightAD可以實現(xiàn)在日志異常檢測模型之間進行公正的比較，使運維工程師能夠針對不同的在線異常檢測目標來選擇合適的異常檢測模型。

2. 對現(xiàn)有方法的全面評估

深度學習方法除了本身擁有更多的參數(shù)量外，其使用的數(shù)據(jù)處理方式通常也比較耗時。例如，CNN方法需要使用日志解析工具對日志進行解析，NeuralLog需要用深度語言模型BERT來對日志進行處理。本文對輕量級傳統(tǒng)機器學習方法采用了更高效的日志處理方式。

具體而言，本文在處理以日志塊來聚合的數(shù)據(jù)集（如HDFS）時，從每個文本日志消息中提取標記，以空格分隔，并刪除包含數(shù)字的標記。本文使用每個塊的ID將日志消息分組成日志序列，并用事件頻率對其進行編碼。整個預處理工作流程如下圖所示。

3. 全新的日志異常檢測評估框架：LightAD

為全面綜合評估日志異常檢測算法，本文提出了基于貝葉斯優(yōu)化起的自動化算法優(yōu)化和評估框架LightAD，LightAD結(jié)構(gòu)如下圖所示。本文首先準備了一組簡單的基準模型及其初始的超參數(shù)空間，對于每個模型，本文會自動化的優(yōu)化模型的超參數(shù)。通過綜合考慮三個維度的模型收益打分：

（1）準確性

（2）每個日志序列的訓練時間

（3）每個日志序列的推斷時間

最終抉擇出模型收益分數(shù)最高的異常檢測算法。

模型收益的多目標優(yōu)化公式如下：

下圖是在去除重復數(shù)據(jù)的HDFS數(shù)據(jù)集上使用LightAD進行異常檢測方法優(yōu)化和評估的結(jié)果，最高模型收益的分數(shù)由黑色加粗標識。從圖中可以看出，LightAD挑選出的模型都是輕量級的機器學習方法。

4.總結(jié)

本文來自華為云PaaS技術(shù)創(chuàng)新Lab和香港中文大學（深圳）賀品嘉助理教授團隊合作項目成果產(chǎn)出，相關(guān)研究成果已被軟件工程領(lǐng)域頂會ICSE 2024（CCF A類）正式錄用，文章詳細內(nèi)容即將公開，敬請關(guān)注。

文章來自 PaaS技術(shù)創(chuàng)新Lab，PaaS技術(shù)創(chuàng)新Lab隸屬于華為云，致力于綜合利用軟件分析、數(shù)據(jù)挖掘、機器學習等技術(shù)，為軟件研發(fā)人員提供下一代智能研發(fā)工具服務的核心引擎和智慧大腦。我們將聚焦軟件工程領(lǐng)域硬核能力，不斷構(gòu)筑研發(fā)利器，持續(xù)交付高價值商業(yè)特性！加入我們，一起開創(chuàng)研發(fā)新“境界”！

詳情歡迎聯(lián)系:

[email protected]；[email protected]

?戳“閱讀原文”，直達PaaS技術(shù)創(chuàng)新Lab！

原文標題：【AIOps】一種全新的日志異常檢測評估框架：LightAD，相關(guān)成果已被軟工頂會ICSE 2024錄用

文章出處：【微信公眾號：華為DevCloud】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴