将上下文融合到知识图谱来进行常识推理

# 将上下文融入知识图谱以进行常识推理

[Fusing Context Into Knowledge Graph for Commonsense Reasoning](https://arxiv.org/pdf/2012.04808.pdf)

背景：很多方法结合了预训练模型和知识图谱，但是图谱缺乏上下文，对概念和关系理解不够准确。

想法：利用外部实体描述来为图谱实体提供上下文信息。对于 CommonsenseQA 任务，主要步骤如下：

1.  提取问题和选项中的概念，并找到与这些概念相关的三元组。
2.  从 [Wkitionary](https://www.wiktionary.org/) 中提取这些概念的描述，将它作为三元组的附加的输入喂给预训练模型。

## Introduction

仅通过图谱描述和相邻信息推理还是不充分，但是可以直接从外部源得到准确的定义。

为了产生能无缝地整合到预训练模型的结构数据，我们需要提供每个概念在图谱中的全局视角，包括邻接概念、它们的关系以及一个明确的描述。为此作者提出了模型 DEKCOR：

**DEKCOR: DE**-scriptive **K**nowledge for **CO**mmonsense **R**easoning

1.  提取包含的概念；

2. 从 ConceptNet 中提取问题概念和选择概念之间的边；

如果上述的边不存在，则为每个包括选择概念的三元组计算相关分数，取分数最高的一个。

3.  通过多种文本匹配准则，从 [Wkitionary](https://www.wiktionary.org/)取出这些概念的定义。

4.  将问题、选项、选择的三元组和定义喂入 Albert，相关分数在后续的注意力和 softmax 层生成。

## Method

问题定义：$$G = (V, E), Q, c_1, ..., c_n$$

![image-20201222200524963](https://i.loli.net/2020/12/22/47b9hF6qTmOCMXn.png)

**1 Knowledge Retrieval**

KCR 方法找 $$e_q$$ 到 $$e_c$$ 的边，如果存在直接的边则直接选择；否则取出 N 个包含 $$e_c$$ 的三元组，对每个三元组评分：

三元组权重 $$w_j$$ ( 由 ConceptNet 提供 )，关系类型权重 $$t_{r_j}$$。关系类型权重 $$t_{r_j} = \frac{N}{N_{r_j}}$$，即所有三元组的数量和这种关系三元组的数量之比。

**2 Contextual Information**

对于每个向量，选择其在 [Wkitionary](https://www.wiktionary.org/) 的第一个结果的定义。

通过如下顺序进行匹配：a) 原始形式，b) lemma form by Spacy, c) base word

e.g. *takes notes* 找不到，但是 lemma 形式 *take notes* 在里面有，如此便得到其描述 *To make a record of what one hears or observes for future reference.*

我们找到了所有实体的描述，问题和选择的概念的描述用 $$d_q$$ 和 $$d_c$$ 描述。

最后，以 $$[CLS]Qc_i[SEP]e_q:d_q[SEP]e_c:d_c[SEP]triple$$ 格式输入 Albert。

**3 Reasoning**

在 Albert 的输出（$$x_0,...,x_m$$）后面接上一个基于注意力的权重求和以及一个 softmax 层来生成 question-choice 对的相关分数。

$$q_i = u^TWx_i$$    $$\alpha_i=softmax(q_i)$$    $$v=\sum_{i=0}^{m}\alpha_ix_i$$，其中 $$u$$ 和 $$W$$ 是参数。

## Related Work

Scalable multi-hop relational reasoning for knowledge-aware question answering.

Unifiedqa: Crossing format boundaries with a single qa system.

Connecting the dots: A knowledgeable path generator for commonsense question answering.

Graph-based reasoning over heterogeneous external knowledge for commonsense question answering.

Conceptnet—a practical commonsense reasoning tool-kit.

Towards generalizable neuro-symbolic systems for commonsense question answering.

Knowledge guided text retrieval and reading for open domain question answering.

Atomic: An atlas of machine commonsense for if-then reasoning.

Jaket: Joint pre-training of knowledge graph and language understanding

Representation learning of knowledge graphs with entity descriptions.

标题：将上下文融合到知识图谱来进行常识推理

作者：快刀切草莓君

分类：自然语言处理

发布时间：2020年12月22日

最近编辑：2020年12月22日

浏览量：1024

↑