論文原文：Learning to Exploit Long-term Relational Dependencies in Knowledge Graphs

程式碼：

https：//

github。com/nju-websoft/

RSN

出版：ACM International Conference on Machine Learning 2019

摘要

該文研究知識圖（KG）嵌入的問題。對此問題的一個公認的假設是，相似的實體可能具有相似的關係角色。然而，現有的相關方法主要基於三元組層次的學習來推導KG嵌入，而對三元組的學習缺乏捕獲實體的長期關係依賴的能力。 此外，三元組學習不足以在實體之間傳播語義資訊，特別是對於跨KG嵌入的情況。 在本文中，我們提出了迴圈跳躍網路（RSN），該網路採用跳躍機制來彌合實體之間的差距。 RSN將遞迴神經網路（RNN）與殘差學習相結合，以有效地捕獲KG內部和KG之間的長期關係依賴性。我們設計了一個端到端框架來支援針對不同任務的RSN。我們的實驗結果表明，RSN優於基於最新嵌入的實體對齊方法，並且在 KG 補全具有競爭優勢。

1 介紹

通常而言，一個簡單的知識圖譜是遠遠不完整的，沒有足夠的事實如語義搜尋、智慧問答、推薦系統等應用。為了解決這些問題，兩個關鍵的知識圖譜應用被提出： - 實體對齊，即實體分辨或者匹配，透過識別不同知識圖譜中指向同一真實世界物體的方式整合多個知識圖譜。 - 知識圖譜補全，即連結預測，試圖在單個知識圖譜中補全缺失的關係。

對於知識圖譜嵌入，現有方法從這樣一個假設出發：相似的實體可能有相似的角色關係。他們主要的關注點，在學習實體的關係三元組。典型地，一些模型受啟發於 TransE 模型。一個實體的嵌入透過聚合它的 1 跳關係鄰居來學習。作者將這類學習稱為

三元組層次的學習

。許多知識圖譜嵌入方法屬於這一類，不僅包括平移模型，例如 TransE、TransH、transR 和組合模型，例如 DIstMult 和 ComplEx 和 HolE，也包括一些神經網路模型，例如 ProjE 和 ConvE。

三元組層次的學習有兩個主要的侷限： - 表達能力低：它透過相當區域性的視角來學習實體嵌入，即 1-跳關係鄰居。一方面，在知識圖譜中有許多不同實體有相同的區域性關係鄰居，例如一些有多對映關係的實體。探索區域性關係鄰居針對知識圖譜嵌入是不充足的。另一方面，有許多實體在真實世界的知識圖譜中只有少量的關係三元組。透過三元組層次的學習，長尾（long-tail）實體只能獲得有限的關注，因此它們的嵌入的表達能力低。 - 資訊傳播低效：對於實體對齊任務，現有方法依賴於

種子對齊

（事先知道的實體優先對齊）來彌合兩個知識圖譜。由於三元組學習使用種子實體的關係三元組（種子對齊中的實體）來跨知識圖譜傳遞對齊資訊，這將限制對齊的傳播，特別是對於長尾實體和遠離種子實體的實體。雖然多跳鄰域的資訊可以透過不同的 mini-batch 的反向傳播，但其效率會受到嚴重影響，特別是在跨知識圖譜嵌入的情況下。

為了解決這些侷限，我們提出迴圈跳躍神經網路（RSN）。RSN 不是透過三元組層次進行學習，而關注於透過

關係路徑

進行學習。一個

關係路徑

被定義為實體-關係鏈，例如（英國-國家-Tim Berners Lee-僱員-W3C）。其中，國家是一個額外構建的反轉的關係，用來增強連線。很明顯，路徑可以提供比三元組更豐富的關係依賴關係，而不會丟失實體的區域性關係資訊。RSN 還克服了許多現有方法僅針對 KG 嵌入中的特定任務而設計的侷限性。例如，TransR和 ConvE 在 KG 補全任務上有競爭效能，但在實體對齊任務上失敗。我們將在後面幾節中解釋原因。

對於關係路徑，一個常見的選擇是迴圈神經網路 RNN。然而，RNN 假設序列中的下一個元素只依賴於當前輸入和之前的隱藏狀態，這對於知識圖譜路徑建模來說是不合適的。作者在此舉例，如果主體實體用於表示序列之前元素的隱藏狀態，則可能無法表示序列的區域性資訊。為了克服這一弱點，RSN 允許在推斷物件實體時，關係的輸出隱藏狀態能夠從它們的直接主體實體中學習一個殘差，這隻需要幾個引數即可。

另外，作者採用端到端的框架來支援 RSN。具體而言，為了獲得想要的路徑，作者使用偏置隨機遊走來對知識圖譜的路徑進行取樣。這種抽樣方法不同於正態隨機遊動，因為它可以流暢地控制生成路徑的深度和跨知識圖譜偏置。在對路徑進行取樣之後，我們就可以使用 RSN 對關係路徑進行建模。為了使嵌入學習更有效，我們設計了基於型別的噪聲約束估計（NCE），它根據路徑中元素的型別最佳化反例取樣。

該文的主要貢獻如下： - 提出一種用於知識圖譜嵌入的路徑層次的學習，並設計 RSN 來克服使用 RNN 建模關係路徑的缺陷。 - 提出一種端到端框架支援不同的知識圖譜嵌入任務。它顯著地超過了一些實體對齊的 STOA 方法，在知識圖譜補全中取得有競爭力的表現。

3 迴圈跳躍網路

一個知識圖譜是有向的多關係圖，其中結點表示實體，邊有標籤表示連線的頂點之間有特定的某種關係。不同於現有的從三元組學習的方法，在該文中，作者關注學習關係路徑。關係路徑是實體-關係鏈，其中實體和關係交替出現。關係路徑的頭實體和尾實體必須是實體，該鏈的元素數量是奇數，奇數索引的元素是實體，其他元素是關係。為了增強知識圖譜的連線性，增加一種知識圖譜的逆關係。

跳躍機制實現的語義增強

為了克服傳統 RNN 的侷限，我們使用 RSN，透過簡單但有效的跳躍機制對 RNN 進行調整。RSN 的基本思想是為現有實體提供捷徑，並讓它直接參與到目標實體的預測中。換句話說，關係路徑中，型別為實體的輸入元素不僅貢獻於預測下一個關係，也直接參與到預測目標實體中。圖 1 闡述了一個 RSN 的例項。

給定一個關係路徑，RSN 的跳躍操作被描述為：

在文中，作者選擇跳躍操作的加權和，但其他組合方法也可以被使用。

RSN 的洞察力

直覺上，RSN 顯式區分實體和關係，允許主體實體跳躍它們的連線，直接參與到預測目標實體中。在這個簡單的跳躍操作之後，有一個使用殘差連線的重要的想法。

4 RSN 架構

RSN 的三個主要模組是： -

偏置隨機遊走取樣

生成有深度的和跨知識圖譜的關係路徑。 -

迴圈跳躍網路

對關係路徑建模來學習知識圖譜嵌入。在之前已經介紹。 -

基於型別的噪聲對比估計

以最佳化的方式評估 RSN 的損失。

4。1 偏置隨機遊走取樣

面向知識圖譜嵌入，我們希望的關係路徑應該相對深；對於實體對齊，應該從兩個知識圖譜中獲取。對於表示實體的關係角色，深度路徑比三元組具有更多的關係依賴關係。跨知識圖譜路徑充當兩個知識圖譜之間的橋樑，以傳遞對齊資訊。

因為知識圖譜通常是大規模的，列舉所有可能的路徑是不現實的。另外，不是所有的路徑都能貢獻於知識圖譜嵌入。因此，作者提出了一種路徑抽樣方法，即在單知識圖譜上和跨兩個知識圖譜上進行有偏置的隨機遊走。

常規隨機遊走

無偏置的隨機遊走透過以下方式獲得下一實體的機率分佈。

無偏置的隨機遊走透過均勻機率分佈選擇下一個實體。

偏置隨機遊走

作者利用二階隨機遊走的想法，並引入深度偏置來平滑控制取樣路徑的深度。

例如，對於 圖2a，e3、e4 和 e5 是下一步的候選。

另外，我們鼓勵跨越兩個知識圖譜的遊走來獲取對齊資訊，以用於實體對齊任務。以相似的方式，作者引入跨知識圖譜的偏置使路徑得以連結兩個知識圖譜。

圖 2b 是一個知識圖譜偏置的隨機遊走的例子。e1 和 e4 是 KG1 中的兩個實體，e2 和 e3 是 KG2 中的兩個實體。e2 是種子實體。

最終，我們組合深度和跨知識圖譜的偏置到一個偏置中：

注意，有偏置的隨機遊動的目標是能正確描述一個圖的路徑，而不是有條件地對路徑進行排序。因此，它與

路徑排名顯著不同

，後者傾向於選擇具有相似特徵的路徑，因為它們的獎勵較高。在我們的例子中，我們需要隨機性來確保對一個圖的所有特徵進行取樣。

4。2 基於型別的噪聲約束估計

關係路徑中的每一個元素都可以透過學習預測下一個元素來最佳化。通常候選實體或關係的數量十分巨大，直接計算每個預測的 sigmoid 損失是非常消耗時間的。因此，作者提出使用噪聲約束的估計（NCE）來評估 RSN 的每一個輸出，這隻需要少量的負樣本來近似整體分佈。形式化描述：

注意，基於當前步驟的推斷任務（實體或關係預測），負樣本可以是負實體或負關係。因此，我們可以根據目標型別來分離噪聲機率分佈的計算。具體地說，如果當前目標是一個實體，我們從實體的噪聲機率分佈中提取負樣本。負關係抽樣也是類似的。這樣就壓縮了負取樣的候選集，避免了不適用的負取樣。

5 實驗和結果

普通資料集上的實體對齊實驗結果：

稠密資料集上的實體對齊實驗結果：

知識圖譜補全實驗：

結論

本文研究了路徑級的知識圖譜嵌入學習，提出了一種 RSN 演算法來解決序列模型學習關係路徑的問題。我們提出了一個端到端的框架，它使用有偏差的隨機遊動來取樣所需的路徑，並使用 RSN 對它們進行建模。

實驗結果表明，該方法可以獲得較好的實體對齊效能和較好的知識圖譜補全效果。未來的工作包括研究一個統一的序列模型，使用關係路徑和文字資訊來學習知識圖譜嵌入。