一行代碼命令可以做什么？

“一行命令可以實(shí)現(xiàn)‘一條龍’運(yùn)行實(shí)驗(yàn)。”

訪問(wèn) github.com/THUDM/cogdl 一鍵體驗(yàn)！

近年來(lái)，結(jié)構(gòu)化數(shù)據(jù)的表示學(xué)習(xí)備受業(yè)界關(guān)注與熱捧，圖神經(jīng)網(wǎng)絡(luò)成為處理相關(guān)工作的有力工具，基于隨機(jī)游走、矩陣分解的方法在搜索推薦、分子和藥物生成等領(lǐng)域有著十分重要的應(yīng)用。

但是，由于許多項(xiàng)目的代碼并未開(kāi)源或者開(kāi)源代碼的風(fēng)格多種多樣，研究者和使用者在使用這些方法的過(guò)程中會(huì)遇到各種各樣的問(wèn)題，比如實(shí)驗(yàn)復(fù)現(xiàn)以及如何在自己的數(shù)據(jù)集上運(yùn)行模型等。

具體而言（以學(xué)術(shù)研究為例），研究者和使用者在從事研究過(guò)程中需要將自己提出的模型與其他模型進(jìn)行對(duì)比，來(lái)驗(yàn)證所提出模型的有效性。但在對(duì)比過(guò)程中，他們需要選定若干個(gè)下游任務(wù)，在每個(gè)任務(wù)下，通過(guò)公平的評(píng)估方式來(lái)對(duì)比不同模型的性能，由于不同模型在提出時(shí)可能會(huì)使用不完全一致的下游任務(wù)或者評(píng)估方式，他們需要花費(fèi)大量精力修改基線模型來(lái)進(jìn)行適配。

那么，如何快速、便捷地復(fù)現(xiàn)出基線模型（baseline）的結(jié)果，并將這些模型應(yīng)用到自定義的數(shù)據(jù)集上？

為此，清華大學(xué)知識(shí)工程實(shí)驗(yàn)室（KEG）聯(lián)合北京智源人工智能研究院（BAAI）開(kāi)發(fā)了一種基于圖深度學(xué)習(xí)的開(kāi)源工具包——CogDL（底層架構(gòu)為 PyTorch，編程語(yǔ)言為 Python）。

據(jù) CogDL 開(kāi)發(fā)者介紹，該工具包通過(guò)整合多種不同的下游任務(wù)，同時(shí)搭配合適的評(píng)估方式，使得研究者和使用者可以方便、快速地運(yùn)行出各種基線模型的結(jié)果，進(jìn)而將更多精力投入研發(fā)新模型的工作之中。

“對(duì)圖領(lǐng)域中每種任務(wù)，我們提供了一套完整的“數(shù)據(jù)處理-模型搭建-模型訓(xùn)練-模型評(píng)估”的方案，易于研發(fā)人員做相關(guān)的實(shí)驗(yàn)。比如對(duì)于圖上半監(jiān)督節(jié)點(diǎn)分類任務(wù)，我們整合了常用的數(shù)據(jù)集 Cora、Citeseer、Pubmed，提供了經(jīng)典的/前沿的各種模型（包括GCN、GAT、GCNII 等），提供了相應(yīng)的訓(xùn)練腳本，并且整理出了一個(gè)相應(yīng)的排行榜作為參考。” CogDL 開(kāi)發(fā)者說(shuō)。

CogDL 最特別的一點(diǎn)在于它以任務(wù)（task）為導(dǎo)向來(lái)集成所有算法，將每一個(gè)算法分配在一個(gè)或多個(gè)任務(wù)下，從而構(gòu)建了 “數(shù)據(jù)處理-模型搭建-模型訓(xùn)練和驗(yàn)證” 一條龍的實(shí)現(xiàn)。

此外，CogDL 也支持研究者和使用者自定義模型和數(shù)據(jù)集，并嵌入在 CogDL 的整體框架下，從而幫助他們提高開(kāi)發(fā)效率，同時(shí)也包含了當(dāng)前許多數(shù)據(jù)集上 SOTA 算法的實(shí)現(xiàn)，并且仍然在不斷更新。 CogDL：面向任務(wù)，擴(kuò)展算法 圖表示學(xué)習(xí)算法可以分為兩類：一類是基于圖神經(jīng)網(wǎng)絡(luò)的算法，另一類是基于 Skip-gram 或矩陣分解的算法。前者包括 GCN、GAT、GraphSAGE 和 DiffPool 等，以及適用于異構(gòu)圖的 RGCN、GATNE 等；后者則包括 Deepwalk、Node2Vec、HOPE 和 NetMF 等，以及用于圖分類的 DGK、graph2vec 等算法。

大體上，CogDL 將已有圖表示學(xué)習(xí)算法劃分為以下 6 項(xiàng)任務(wù)：

有監(jiān)督節(jié)點(diǎn)分類任務(wù)（node classification）：包括 GCN、GAT、GraphSAGE、MixHop 和 GRAND 等；

無(wú)監(jiān)督節(jié)點(diǎn)分類任務(wù)（unsupervised node classification）：包括 DGI、GraphSAGE（無(wú)監(jiān)督實(shí)現(xiàn)），以及 Deepwalk、Node2vec、ProNE 等；

有監(jiān)督圖分類任務(wù)（graph classification）：包括 GIN、DiffPool、SortPool 等；

無(wú)監(jiān)督圖分類任務(wù)（unsupervised graph classification）：包括 InfoGraph、DGK、Graph2Vec 等；

鏈接預(yù)測(cè)任務(wù)（link prediction）：包括 RGCN、CompGCN、GATNE 等；

異構(gòu)節(jié)點(diǎn)分類（multiplex node classification）：包括 GTN、HAN、Metapath2vec 等。

CogDL 還包括圖上的預(yù)訓(xùn)練模型 GCC，GCC 主要利用圖的結(jié)構(gòu)信息來(lái)預(yù)訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)，從而使得該網(wǎng)絡(luò)可以遷移到其他數(shù)據(jù)集上，來(lái)取得較好的節(jié)點(diǎn)分類和圖分類的效果。 能用來(lái)做什么？ 那么，研究者和使用者可以利用 CogDL 做些什么？主要有三點(diǎn)：跟進(jìn) SOTA、復(fù)現(xiàn)實(shí)驗(yàn)，以及自定義模型和數(shù)據(jù)。

跟進(jìn) SOTA。CogDL 跟進(jìn)最新發(fā)布的算法，包含不同任務(wù)下 SOTA 的實(shí)現(xiàn)，同時(shí)建立了不同任務(wù)下所有模型的 leaderboard（排行榜），研究人員和開(kāi)發(fā)人員可以通過(guò) leaderboard 比較不同算法的效果。

復(fù)現(xiàn)實(shí)驗(yàn)。論文模型的可復(fù)現(xiàn)性是非常重要的。CogDL 通過(guò)實(shí)現(xiàn)不同論文的模型也是對(duì)模型可復(fù)現(xiàn)性的一個(gè)檢驗(yàn)。

自定義模型和數(shù)據(jù)。“數(shù)據(jù)-模型-訓(xùn)練”三部分在 CogDL 中是獨(dú)立的，研究者和使用者可以自定義其中任何一部分，并復(fù)用其他部分，從而提高開(kāi)發(fā)效率。 怎么用？ 有兩種方法：命令行直接運(yùn)行，通過(guò) API 調(diào)用 命令行直接運(yùn)行。通過(guò)命令行可以直接指定 "task"、"model"、"dataset" 以及對(duì)應(yīng)的超參數(shù)，并且支持同時(shí)指定多個(gè)模型和多個(gè)數(shù)據(jù)集，更方便。代碼如下：

支持自定義數(shù)據(jù)集和模型，并且提供了自動(dòng)調(diào)參的例子。

據(jù) CogDL 研究者介紹，從 2019 年啟動(dòng)以來(lái)，該項(xiàng)目經(jīng)過(guò)了多次密集的研發(fā)，到目前已經(jīng)整合了圖領(lǐng)域的重要任務(wù)及其相關(guān)的經(jīng)典和前沿的模型。

CogDL 開(kāi)發(fā)者表示，“起初，我們只是整合了實(shí)驗(yàn)室內(nèi)部從事相關(guān)領(lǐng)域研究的同學(xué)所使用的相關(guān)代碼，為了方便實(shí)驗(yàn)室其余的同學(xué)運(yùn)行相關(guān)的實(shí)驗(yàn)。后來(lái)，我們決定將代碼開(kāi)源出來(lái)，讓更多的研究和開(kāi)發(fā)人員能夠借助我們的代碼從事相關(guān)工作。”

如今，CogDL 已經(jīng)上線了 CogDL v0.1.1。

“我們?cè)黾恿艘恍┳钋把氐膱D神經(jīng)網(wǎng)絡(luò)模型，包括圖自監(jiān)督模型、圖預(yù)訓(xùn)練模型。用戶可以利用圖上預(yù)訓(xùn)練好的模型做不同的下游任務(wù)。在下游任務(wù)方面，我們?cè)黾恿酥R(shí)圖譜的鏈接預(yù)測(cè)任務(wù)，方便從事知識(shí)圖譜領(lǐng)域的用戶進(jìn)行相關(guān)實(shí)驗(yàn)。” CogDL 開(kāi)發(fā)者說(shuō)。

具體而言，在監(jiān)督節(jié)點(diǎn)分類任務(wù)上，增加了 GRAND 和 DisenGCN，GRAND 在 Cora、PubMed、Citeseer 上取得了 SOTA 或者接近 SOTA 的效果；無(wú)監(jiān)督節(jié)點(diǎn)分類任務(wù)上，增加了 DGI、MVGRL、GraphSAGE（無(wú)監(jiān)督實(shí)現(xiàn)）；在鏈接預(yù)測(cè)任務(wù)上，增加了知識(shí)圖譜上的鏈接預(yù)測(cè) GNN 模型 RGCN 和 CompGCN；以及增加了圖上的預(yù)訓(xùn)練模型 GCC。

另外，CogDL 也提供了使用 optuna 進(jìn)行超參數(shù)搜索的 example，通過(guò)指定 "模型，數(shù)據(jù)集，參數(shù)" 即可自動(dòng)實(shí)現(xiàn)超參數(shù)的搜索。

接下來(lái)，CogDL 研究者希望在現(xiàn)有基礎(chǔ)上，繼續(xù)補(bǔ)充其余的圖領(lǐng)域的下游任務(wù)，添加更多的數(shù)據(jù)集，更新每個(gè)任務(wù)的排行榜；同時(shí)增加最前沿的關(guān)于預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型，支持用戶直接使用預(yù)訓(xùn)練好的模型來(lái)進(jìn)行相關(guān)應(yīng)用；以及完善 CogDL 的教程和文檔，讓剛接觸圖領(lǐng)域的初學(xué)者能夠快速上手。

談及最終的愿景，CogDL 研究者表示，一方面希望從事圖數(shù)據(jù)領(lǐng)域的研究人員可以方便地利用 CogDL 來(lái)做實(shí)驗(yàn)，另一方面希望面向?qū)嶋H應(yīng)用的開(kāi)發(fā)人員可以利用 CogDL 來(lái)快速地搭建相關(guān)下游應(yīng)用，最終打造一個(gè)完善的圖領(lǐng)域的研發(fā)生態(tài)。
編輯：hfy