女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

講解將知識圖譜特征學習引入到推薦系統的各種思路與實現方法

8g3K_AI_Thinker ? 來源:未知 ? 作者:李倩 ? 2018-06-11 11:51 ? 次閱讀

在上周發表的“推薦算法不夠精準?讓知識圖譜來解決”一文中,我們為大家介紹了日常生活中幾乎每天都會用到的推薦系統,以及用來提高推薦系統精準性、多樣性和可解釋性的推薦算法輔助信息——知識圖譜。今天,我們將進一步為大家講解將知識圖譜特征學習引入到推薦系統的各種思路與實現方法。

將知識圖譜作為輔助信息引入到推薦系統中可以有效地解決傳統推薦系統存在的稀疏性和冷啟動問題,近幾年有很多研究人員在做相關的工作。目前,將知識圖譜特征學習應用到推薦系統中主要通過三種方式——依次學習、聯合學習、以及交替學習。

依次學習(one-by-one learning)。首先使用知識圖譜特征學習得到實體向量和關系向量,然后將這些低維向量引入推薦系統,學習得到用戶向量和物品向量;

聯合學習(joint learning)。將知識圖譜特征學習和推薦算法的目標函數結合,使用端到端(end-to-end)的方法進行聯合學習;

交替學習(alternate learning)。將知識圖譜特征學習和推薦算法視為兩個分離但又相關的任務,使用多任務學習(multi-task learning)的框架進行交替學習。

依次學習

Deep Knowledge-Aware Network (DKN)

我們以新聞推薦[1]為例來介紹依次學習。如下圖所示,新聞標題和正文中通常存在大量的實體,實體間的語義關系可以有效地擴展用戶興趣。然而這種語義關系難以被傳統方法(話題模型、詞向量)發掘。

為了將知識圖譜引入特征學習,遵循依次學習的框架,我們首先需要提取知識圖譜特征。該步驟的方法如下:

實體連接(entity linking)。即從文本中發現相關詞匯,并與知識圖譜中的實體進行匹配;

知識圖譜構建。根據所有匹配到的實體,在原始的知識圖譜中抽取子圖。子圖的大小會影響后續算法的運行時間和效果:越大的子圖通常會學習到更好的特征,但是所需的運行時間越長;

知識圖譜特征學習。使用知識圖譜特征學習算法(如TransE等)進行學習得到實體和關系向量。

需要注意的是,為了更準確地刻畫實體,我們額外地使用一個實體的上下文實體特征(contextual entity embeddings)。一個實體e的上下文實體是e的所有一跳鄰居節點,e的上下文實體特征為e的所有上下文實體特征的平均值:

下圖的綠色橢圓框內即為“Fight Club”的上下文實體。

得到實體特征后,我們的第二步是構建推薦模型,該模型是一個基于CNN和注意力機制的新聞推薦算法:

基于卷積神經網絡的文本特征提取:將新聞標題的詞向量(word embedding)、實體向量(entity embedding)和實體上下文向量(context embedding)作為多個通道(類似于圖像中的紅綠藍三通道),在CNN的框架下進行融合;

基于注意力機制的用戶歷史興趣融合:在判斷用戶對當前新聞的興趣時,使用注意力網絡(attention network)給用戶歷史記錄分配不同的權重。

該模型在新聞推薦上取得了很好的效果:DKN取得了0.689的F1值和0.659的AUC值,并在p=0.1水平上比其它方法取得了顯著的提升。

我們也可以通過注意力權重的可視化結果看出,注意力機制的引入對模型的最后輸出產生了積極的影響。由于注意力機制的引入,DKN可以更好地將同類別的新聞聯系起來,從而提高了最終的正確預測的數量:

依次學習的優勢在于知識圖譜特征學習模塊和推薦系統模塊相互獨立。在真實場景中,特別是知識圖譜很大的情況下,進行一次知識圖譜特征學習的時間開銷會很大,而一般而言,知識圖譜遠沒有推薦模塊更新地快。因此我們可以先通過一次訓練得到實體和關系向量,以后每次推薦系統模塊需要更新時都可以直接使用這些向量作為輸入,而無需重新訓練。

依次學習的缺點也正在于此:因為兩個模塊相互獨立,所以無法做到端到端的訓練。通常來說,知識圖譜特征學習得到的向量會更適合于知識圖譜內的任務,比如連接預測、實體分類等,并非完全適合特定的推薦任務。在缺乏推薦模塊的監督信號的情況下,學習得到的實體向量是否真的對推薦任務有幫助,還需要通過進一步的實驗來推斷。

聯合學習

聯合學習的核心是將推薦算法和知識圖譜特征學習的目標融合,并在一個端到端的優化目標中進行訓練。我們以CKE[2]和Ripple Network[3]為例介紹聯合學習。

Collaborative Knowledge base Embedding (CKE)

在推薦系統中存在著很多與知識圖譜相關的信息,以電影推薦為例:

結構化知識(structural knowledge),例如導演、類別等;

圖像知識(visual knowledge),例如海報、劇照等;

文本知識(textual knowledge),例如電影描述、影評等。

CKE是一個基于協同過濾和知識圖譜特征學習的推薦系統:

CKE使用如下方式進行三種知識的學習:

結構化知識學習:TransR。TransR是一種基于距離的翻譯模型,可以學習得到知識實體的向量表示;

文本知識學習:去噪自編碼器。去噪自編碼器可以學習得到文本的一種泛化能力較強的向量表示;

圖像知識學習:卷積-反卷積自編碼器。卷積-反卷積自編碼器可以得到圖像的一種泛化能力較強的向量表示。

我們將三種知識學習的目標函數與推薦系統中的協同過濾結合,得到如下的聯合損失函數:

使用諸如隨機梯度下降(SGD)的方法對上述損失函數進行訓練,我們最終可以得到用戶/物品向量,以及實體/關系向量。CKE在電影推薦和圖書推薦上取得了很高的Recall值和MAP值:

Ripple Network

Ripple的中文翻譯為“水波”,顧名思義,Ripple Network模擬了用戶興趣在知識圖譜上的傳播過程,整個過程類似于水波的傳播:

一個用戶的興趣以其歷史記錄中的實體為中心,在知識圖譜上向外逐層擴散;

一個用戶的興趣在知識圖譜上的擴散過程中逐漸衰減。

下圖展示了用戶興趣在知識圖譜上擴散的過程。以一個用戶看過的“Forrest Gump”為中心,用戶的興趣沿著關系邊可以逐跳向外擴展,并在擴展過程中興趣強度逐漸衰減。

下圖展示了Ripple Network的模型。對于給定的用戶u和物品v,我們將歷史相關實體集合V中的所有實體進行相似度計算,并利用計算得到的權重值對V中實體在知識圖譜中對應的尾節點進行加權求和。求和得到的結果可以視為v在u的一跳相關實體中的一個響應。該過程可以重復在u的二跳、三跳相關實體中進行,如此,v在知識圖譜上便以V為中心逐層向外擴散。

最終得到的推薦算法和知識圖譜特征學習的聯合損失函數如下:

類似于CKE,我們在該損失函數上訓練即可得到物品向量和實體向量。需要注意的是,Ripple Network中沒有對用戶直接使用向量進行刻畫,而是用用戶點擊過的物品的向量集合作為其特征。Ripple Network在電影、圖書和新聞的點擊率預測上取得了非常好的效果:

我們將Ripple Network的計算結果可視化如下。可以看出,知識圖譜連接了用戶的歷史興趣和推薦結果,其中的若干條高分值的路徑可以視為對推薦結果的解釋:

聯合學習的優劣勢正好與依次學習相反。聯合學習是一種端到端的訓練方式,推薦系統模塊的監督信號可以反饋到知識圖譜特征學習中,這對于提高最終的性能是有利的。但是需要注意的是,兩個模塊在最終的目標函數中結合方式以及權重的分配都需要精細的實驗才能確定。聯合學習潛在的問題是訓練開銷較大,特別是一些使用到圖算法的模型。

交替學習

Multi-task Learning for KG enhanced Recommendation (MKR)

推薦系統和知識圖譜特征學習的交替學習類似于多任務學習的框架。該方法的出發點是推薦系統中的物品和知識圖譜中的實體存在重合,因此兩個任務之間存在相關性。將推薦系統和知識圖譜特征學習視為兩個分離但是相關的任務,采用多任務學習的框架,可以有如下優勢:

兩者的可用信息可以互補;

知識圖譜特征學習任務可以幫助推薦系統擺脫局部極小值;

知識圖譜特征學習任務可以防止推薦系統過擬合;

知識圖譜特征學習任務可以提高推薦系統的泛化能力。

MKR[4]的模型框架如下,其中左側是推薦任務,右側是知識圖譜特征學習任務。推薦部分使用用戶和物品的特征表示作為輸入,預測的點擊概率作為輸出。知識圖譜特征學習部分使用一個三元組的頭結點和關系表示作為輸入,預測的尾節點表示作為輸出。

由于推薦系統中的物品和知識圖譜中的實體存在重合,所以兩個任務并非相互獨立。我們在兩個任務中設計了交叉特征共享單元(cross-feature-sharing units)作為兩者的連接紐帶。

交叉特征共享單元是一個可以讓兩個任務交換信息的模塊。由于物品向量和實體向量實際上是對同一個對象的兩種描述,他們之間的信息交叉共享可以讓兩者都獲得來自對方的額外信息,從而彌補了自身的信息稀疏性的不足。

MKR的整體損失函數如下:

在實際操作中,我們采用交替訓練的方式:固定推薦系統模塊的參數,訓練知識圖譜特征學習模塊的參數;然后固定知識圖譜特征學習模塊的參數,訓練推薦系統模塊的參數:

MKR在電影、圖書和新聞推薦上也取得了不錯的效果,其F1@K指標在絕大多數情況下都超過了baseline方法:

交替學習是一種較為創新和前沿的思路,其中如何設計兩個相關的任務以及兩個任務如何關聯起來都是值得研究的方向。從實際運用和時間開銷上來說,交替學習是介于依次學習和聯合學習中間的:訓練好的知識圖譜特征學習模塊可以在下一次訓練的時候繼續使用(不像聯合學習需要從零開始),但是依然要參與到訓練過程中來(不像依次學習中可以直接使用實體向量)。

知識圖譜作為推薦系統的一種新興的輔助信息,近年來得到了研究人員的廣泛關注。未來,知識圖譜和時序模型的結合、知識圖譜和基于強化學習的推薦系統的結合、以及知識圖譜和其它輔助信息在推薦系統中的結合等相關問題仍然值得更多的研究。歡迎感興趣的同學通過留言與我們互動溝通。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4809

    瀏覽量

    102829
  • 算法
    +關注

    關注

    23

    文章

    4700

    瀏覽量

    94789
  • 知識圖譜
    +關注

    關注

    2

    文章

    132

    瀏覽量

    7934

原文標題:如何將知識圖譜特征學習應用到推薦系統?

文章出處:【微信號:AI_Thinker,微信公眾號:人工智能頭條】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    NLPIR大數據知識圖譜完美展現文本數據內容

    推理能力,推理出暗含的知識,獲取更多知識與結論,豐富知識圖譜。  1、演繹歸納推理(一般—特殊):KGB能夠完成由一般特征到特殊個案的演繹知識
    發表于 07-01 11:40

    知識圖譜相關應用

    智慧風控的背后,是知識圖譜的深度應用
    發表于 08-22 14:40

    KGB知識圖譜基于傳統知識工程的突破分析

    、客體、時間、地點、金額、條款等),準確率高達90%,實現知識的快速生成。3. 知識關聯:KGB知識圖譜引擎深入挖掘知識關聯,
    發表于 10-22 15:25

    KGB知識圖譜技術能夠解決哪些行業痛點?

    和小知識點,也細化知識圖譜的實體和關系之間的級別,行業領域的知識圖譜
    發表于 10-30 15:34

    知識圖譜的三種特性評析

    、客體、時間、地點、金額、條款等),準確率高達90%,實現知識的快速生成。3、知識關聯:KGB知識圖譜引擎深入挖掘知識關聯,
    發表于 12-13 13:57

    KGB知識圖譜幫助金融機構進行風險預判

    、時間、地點、金額、條款等),準確率高達90%,實現知識的快速生成。3.知識關聯:KGB知識圖譜引擎深入挖掘知識關聯,
    發表于 06-18 23:07

    KGB知識圖譜通過智能搜索提升金融行業分析能力

    知識圖譜作為知識的一種形式,已經在語義搜索、智能問答、數據分析、自然語言理解、視覺理解、物聯網設備互聯等多個方面發揮出越來越大的價值。尤其在金融領域,KGB知識圖譜能夠實現數據可視化,
    發表于 06-22 21:23

    各種知識圖譜精化方法,為國內同行介紹本領域的最新研究成果

    知識圖譜構建是使用各種技術從無有構造知識圖譜,而知識圖譜精化是使用各種技術對
    的頭像 發表于 09-23 09:46 ?7088次閱讀
    <b class='flag-5'>各種</b><b class='flag-5'>知識圖譜</b>精化<b class='flag-5'>方法</b>,為國內同行介紹本領域的最新研究成果

    知識圖譜劃分的相關算法及研究

    知識圖譜是人工智能的重要基石,因其包含豐富的圖結構和屬性信息而受到廣泛關注。知識圖譜可以精確語義描述現實世界中的各種實體及其聯系,其中頂點表示實體,邊表示實體間的聯系。知識圖譜劃分是大
    發表于 03-18 10:10 ?14次下載
    <b class='flag-5'>知識圖譜</b>劃分的相關算法及研究

    深度學習—基于軍事知識圖譜的作戰預案語義匹配方法研究

    基于軍事知識圖譜的作戰預案語義匹配方法研究 人工智能技術與咨詢 前天 本文來自《指揮與控制學報》?,作者梁汝鵬等 摘 要?提出了一種智能化的預案語義匹配方法,基于軍事知識圖譜,建立
    發表于 11-11 11:08 ?1981次閱讀
    深度<b class='flag-5'>學習</b>—基于軍事<b class='flag-5'>知識圖譜</b>的作戰預案語義匹配<b class='flag-5'>方法</b>研究

    規則引導的知識圖譜聯合嵌入方法

    規則引導的知識圖譜聯合嵌入方法 人工智能技術與咨詢? 本文來自《計算機研究與發展》?,作者姚思雨等 摘 要?近年來,大量研究工作致力于知識圖譜的嵌入學習,旨在
    發表于 12-28 10:42 ?867次閱讀

    基于位置的知識圖譜鏈接預測

    了一種基于位置的知識圖譜鏈接預測方法。該方法首先通過分析實體和關系的語義特征對關系進行分類,然后提出了一種基于位置的實體和關系位置特征和規則
    發表于 12-31 10:07 ?629次閱讀
    基于位置的<b class='flag-5'>知識圖譜</b>鏈接預測

    知識圖譜Knowledge Graph構建與應用

    一、知識圖譜概論 ? ? ? ? 1.1知識圖譜的起源和歷史 1.2知識圖譜的發展史——從框架、本體論、語義網、鏈接數據知識圖譜 1.3
    發表于 09-17 10:12 ?829次閱讀

    知識圖譜知識圖譜的典型應用

    作者:?cooldream2009? 我們構建知識圖譜的目的,在于利用知識圖譜來做一些事情。有效利用知識圖譜,就是要考慮知識圖譜的具備的能力,知識圖
    的頭像 發表于 10-18 09:26 ?2550次閱讀
    <b class='flag-5'>知識圖譜</b>:<b class='flag-5'>知識圖譜</b>的典型應用

    知識圖譜賦能企業數字化轉型

    知識圖譜知識圖譜賦能企業數字化轉型 相互關聯是大數據時代的鮮明特征。激增且日益復雜的海量數據正通過各種方式對企業發展產生重要影響。如何正確理解和解讀數據,發掘其內在價值,從而推動企業
    的頭像 發表于 10-22 09:46 ?1160次閱讀