女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于圖神經網絡的圖異常值檢測庫介紹

TigerGraph ? 來源:TigerGraph ? 作者:Yingtong Dou ? 2022-12-08 10:34 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

文章具體介紹了圖神經網絡的基本機制,以及圖上無監督節點異常值檢測的概念和方法。同時他還分享了在這方面的一些發現和想法。最后,我們將介紹一個基于 GNN 的圖異常值檢測庫 (PyGOD) 及其與 TigerGraph機器學習工作臺的集成。

圖神經網絡 (GNN)

我們先簡單了解一下現在熱門的圖神經網絡 (GNN),這已經成為圖數據挖掘的一種主導且強大的工具。與圖像數據的 CNN 相似,GNN 是一種神經網絡,旨在對圖結構進行編碼并通過迭代聚合其鄰居的嵌入來學習節點的嵌入 (見圖 1)。大多數 GNN 都持有同源性假設,即相連的節點是相似的;因此,聚合鄰居的信息將有助于學習信息量更大的中心節點表示。中心節點表示可用于節點分類、鏈接預測和異常值檢測 (OD) 等下游任務。

ed7d2b2c-761e-11ed-8abf-dac502259ad0.png

圖1:圖神經網絡

圖上的異常值

異常值是與其余數據顯著不同的樣本。作為數據挖掘研究的主流方向,異常值檢測在行業中也至關重要。現實世界數據中的異常值通常表示欺詐行為、系統錯誤、網絡入侵或網絡故障。這些異常值可能導致重大的財務損失和安全問題。

除了傳統表格數據中的異常值外,圖模型還可以提高異常值檢測的性能,特別是當數據實例具有共同的屬性和接近性時。社交平臺的機器人賬戶單個看可能沒什么問題(如圖 2 所示),但它的轉發行為密集相連,從圖的角度來看容易發現其中的異常。

ed9d5d0c-761e-11ed-8abf-dac502259ad0.png

圖2:圖上的異常值

在圖異常值檢測中,以前的文獻已經定義并研究了兩種典型的異常值類型。(1) 結構異常值是指密集相連的節點,相反則是稀疏連接的常規節點,例如前面提到的社交網絡問題(圖 2 所示)。(2) 上下文異常值是其屬性與相鄰節點明顯不同的節點。它的定義與經典的基于接近度的異常值檢測方法中的異常值假設相似。上下文異常值描繪了與圖中鄰居不同的節點,例如計算機網絡中的受損設備。

edd2aa8e-761e-11ed-8abf-dac502259ad0.png

圖3:兩種典型的異常值類型

基于 GNN 的節點異常值檢測

在 GNN 取得進展之前,大家就已經利用矩陣分解、密度聚類和關系學習方法來編碼圖信息并識別異常值。其他異常值檢測方法大家可以參考文中鏈接(https://arxiv.org/abs/1404.4679)。

回到 GNN,在獲得節點表示之后,GNN 會使用不同的損失函數(目標函數)進行優化,用于不同的任務。例如,使用交叉熵損失來優化 GNN 用于節點分類任務。

對于節點異常值檢測,常規做法是將 GNNs 集成到自動編碼器中,將 GNN 用作編碼器和解碼器。這種神經網絡架構稱為圖自動編碼器(簡稱:GAE)。與香草自編碼器一樣,GAE 通過重建圖數據來編碼圖信息,即重建節點特征和邊。在異常值檢測方面,GAE 可用于編碼正常圖信息,具有高重構誤差的節點將表明其異常程度。圖4就是使用 GAE 進行節點異常值檢測的第一種模型。

edf8ca7a-761e-11ed-8abf-dac502259ad0.png

圖4:The OD framework of DOMINANT (SDM’ 19)

需要注意的是,使用 GAE 進行異常值檢測對圖數據有兩個隱含假設:(1)異常值僅占據少量數據,而大部分數據是正常的;(2)正常數據具有共同的屬性和結構特征。在此假設下,GAE 可以用來檢測結構和上下文異常值,近兩年來也已經有了許多 GAE 的變體。

基準測試的發現

接下來,跟大家分享一些基于 GNN 的節點異常值檢測方法進行基準測試的一些發現:

1. 許多現有的基于 GNN 的異常值檢測方法都是基于合成異常值的相對樸素的假設來開發的;因此,許多方法在檢測有機異常值時效果并不理想。有機異常值通常非常復雜,其分布也可能多種多樣。但是,我們的基準測試表明,如果有機異常值遵循預定義的異常類型,則基于 GNN 的異常值檢測方法將是有效的。

2. 和大多數深度學習方法一樣,基于 GNN 的異常值檢測方法在小圖中效果都不是最優的。與此同時,大多數基于 GNN 的異常值檢測方法在擁有數千萬個節點的大圖中都不具有可伸縮性。

3. 無監督的基于 GNN 的異常值檢測方法的性能嚴重依賴于超參數,而在無監督學習中的超參數調整仍然是機器學習研究和實踐中的挑戰。

4. 大多數基于 GNN 的異常值檢測方法更傾向于特定類型的異常值。平衡和優化每種異常值類型的檢測性能并不容易。同時,在預期中沒有方法具有一致的性能或者在不同的數據集上優于其他方法。

基于圖的異常值檢測指南

基于上述發現,由于其可擴展性約束,我們認為基于 GNN 的異常值檢測與工業應用之間仍存在差距。開發基于 GNN 的自動化、可擴展和任務導向的異常值檢測方法將是一個具有發展潛力的方向。至于到底是應用基于 GNN 的異常值檢測或基于圖的異常值檢測,作者也給出了應用指南(圖5),以方便從業者參考。我們簡單跟大家分享幾點,例如,是否采用圖?可以看異常實體是否具有共同的特性,異常實體是否具有集群行為,還有就是成本與效益之間的權衡。而是否采用GNN?則需要考慮基礎設施,功能可用性和功能類型,還有與其他模塊和任務集成。具體指南圖大家可以關注我們的微信公眾號查看正文。

ee0fe76e-761e-11ed-8abf-dac502259ad0.png

圖5:基于圖的異常值檢測指南

從上述指南中,作者強調了數據探索分析和精確問題定義對于應用基于圖的異常值檢測是至關重要的。

PyGOD 和TigerGraph ML Workbench

最后,作者還跟大家介紹了 PyGOD,這是一個與圖異常值檢測基準測試一起開發的 Python 庫。該庫基于 PyTorch 和 PyTorch Geometric (PyG) 開發,其 API 樣式遵循流行的機器學習庫 scikit-learn,可以很容易地使用五行代碼檢測圖中的異常點:

ee3ace16-761e-11ed-8abf-dac502259ad0.png

PyGOD是一個不斷發展的Python庫,旨在涵蓋更多的檢測功能和更高的可擴展性。TigerGraph ML Workbench能夠將圖數據從TigerGraph DB轉換為PyG數據對象,因此PyGOD可以在TigerGraph中輕松安裝和測試。

ee6ad408-761e-11ed-8abf-dac502259ad0.png

審核編輯:郭婷

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4814

    瀏覽量

    103556
  • 機器學習
    +關注

    關注

    66

    文章

    8501

    瀏覽量

    134577

原文標題:Vol. 38 基于圖神經網絡的圖異常值檢測:簡介

文章出處:【微信號:TigerGraph,微信公眾號:TigerGraph】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    無刷電機小波神經網絡轉子位置檢測方法的研究

    MATLAB/SIMULINK工具對該方法進行驗證,實驗結果表明該方法在全程速度下效果良好。 純分享帖,點擊下方附件免費獲取完整資料~~~ *附件:無刷電機小波神經網絡轉子位置檢測方法的研究.pdf
    發表于 06-25 13:06

    使用BP神經網絡進行時間序列預測

    使用BP(Backpropagation)神經網絡進行時間序列預測是一種常見且有效的方法。以下是一個基于BP神經網絡進行時間序列預測的詳細步驟和考慮因素: 一、數據準備 收集數據 : 收集用于訓練
    的頭像 發表于 02-12 16:44 ?767次閱讀

    BP神經網絡與卷積神經網絡的比較

    BP神經網絡與卷積神經網絡在多個方面存在顯著差異,以下是對兩者的比較: 一、結構特點 BP神經網絡 : BP神經網絡是一種多層的前饋神經網絡
    的頭像 發表于 02-12 15:53 ?659次閱讀

    什么是BP神經網絡的反向傳播算法

    BP神經網絡的反向傳播算法(Backpropagation Algorithm)是一種用于訓練神經網絡的有效方法。以下是關于BP神經網絡的反向傳播算法的介紹: 一、基本概念 反向傳播算
    的頭像 發表于 02-12 15:18 ?764次閱讀

    BP神經網絡與深度學習的關系

    BP神經網絡與深度學習之間存在著密切的關系,以下是對它們之間關系的介紹: 一、BP神經網絡的基本概念 BP神經網絡,即反向傳播神經網絡(Ba
    的頭像 發表于 02-12 15:15 ?850次閱讀

    BP神經網絡的基本原理

    BP神經網絡(Back Propagation Neural Network)的基本原理涉及前向傳播和反向傳播兩個核心過程。以下是關于BP神經網絡基本原理的介紹: 一、網絡結構 BP
    的頭像 發表于 02-12 15:13 ?843次閱讀

    深度學習入門:簡單神經網絡的構建與實現

    神經網絡。 首先,導入必要的: 收起 python ? import numpy as np ? 定義激活函數 Sigmoid: 收起 python ? def sigmoid(x): return 1
    的頭像 發表于 01-23 13:52 ?528次閱讀

    人工神經網絡的原理和多種神經網絡架構方法

    在上一篇文章中,我們介紹了傳統機器學習的基礎知識和多種算法。在本文中,我們會介紹人工神經網絡的原理和多種神經網絡架構方法,供各位老師選擇。 01 人工
    的頭像 發表于 01-09 10:24 ?1181次閱讀
    人工<b class='flag-5'>神經網絡</b>的原理和多種<b class='flag-5'>神經網絡</b>架構方法

    經典神經網絡(GNNs)的基準分析研究

    本文簡要介紹了經典神經網絡(GNNs)的基準分析研究,發表在 NeurIPS 2024。 文章回顧了經典 GNNs 模型在節點分類任務上的表現,結果發現過去 SOTA 學習模型報告
    的頭像 發表于 11-27 09:16 ?783次閱讀
    經典<b class='flag-5'>圖</b><b class='flag-5'>神經網絡</b>(GNNs)的基準分析研究

    卷積神經網絡與傳統神經網絡的比較

    在深度學習領域,神經網絡模型被廣泛應用于各種任務,如圖像識別、自然語言處理和游戲智能等。其中,卷積神經網絡(CNNs)和傳統神經網絡是兩種常見的模型。 1. 結構差異 1.1 傳統神經網絡
    的頭像 發表于 11-15 14:53 ?1863次閱讀

    RNN模型與傳統神經網絡的區別

    神經網絡是機器學習領域中的一種強大工具,它們能夠模擬人腦處理信息的方式。隨著技術的發展,神經網絡的類型也在不斷增加,其中循環神經網絡(RNN)和傳統神經網絡(如前饋
    的頭像 發表于 11-15 09:42 ?1124次閱讀

    LSTM神經網絡的訓練數據準備方法

    : 一、數據收集與清洗 數據收集 : 根據LSTM神經網絡的應用場景(如時間序列預測、自然語言處理等),收集相關的時間序列數據或文本數據。 數據可以來自數據、日志文件、傳感器讀數、用戶行為記錄等多種來源。 數據清洗 : 去除數據中的噪聲和
    的頭像 發表于 11-13 10:08 ?2099次閱讀

    LSTM神經網絡的結構與工作機制

    的結構與工作機制的介紹: 一、LSTM神經網絡的結構 LSTM神經網絡的結構主要包括以下幾個部分: 記憶單元(Memory Cell) : 記憶單元是LSTM網絡的核心,負責在整個序列
    的頭像 發表于 11-13 10:05 ?1628次閱讀

    關于卷積神經網絡,這些概念你厘清了么~

    2.一個小型神經網絡 3.用CIFAR-10數據集訓練的CIFAR網絡模型 CIFAR-10是一個特定數據集,通常用于訓練CIFAR
    發表于 10-24 13:56

    matlab 神經網絡 數學建模數值分析

    matlab神經網絡 數學建模數值分析 精通的可以討論下
    發表于 09-18 15:14