常识问答 - 草莓君的妙妙屋

# 常识问答
阅读师兄的论文过程中记录的关键部分。

## 引言
- 基本概念
自然语言理解 NLU 任务；自动问答；常识推理；大规模常识知识库 ConceptNet；预训练模型BERT

- 与传统问答区别：常识推理，获取常识
- 与知识库问答区别：知识库更抽象，回答开放域问题

- 发展阶段：基于规则或统计模型 -> 基于神经网络和预训练模型

## 常识问答
1. 任务定义
    - 主要为多项选择方式；生成答案比抽取式、生成式问答更简化。
    - K（知识库）, Q（问题集合）, A（备选答案）, L（正确答案标签）
    - F（K,Q,A）= L
    - 与多选阅读理解相似，但需要学习并利用外部常识知识。
2. 评价指标：准确率；完全匹配值；F1值
> 在抽取和生成任务中，预测结果字符串和答案字符匹配的重叠（overlap）部分的长度为n，准确率为重叠长度n和预测字符串长度p的比值，召回率为重叠长度n与答案字符串长度g的比值，在整个数据集上为所有数据的准确率和召回率的平均值

## 数据集
1. 常识数据库类别 （根据解决问题的不同区分）
    - 指代消解
        - Winograd Schema Challenge（WSC）
        - PDP（Pronoun Disambiguation Problem）
    - 似然推理
        - COPA（The choice of plausible Alternatives） 2011 因果关系
        - SWAG（Situations With Adversarial Generations）2018 电影字幕
        - HellaSWAG 2019 覆盖面更广
    - 不完整知识库问答（最佳性能都不如人类）
        - ARC（AI2 Reasoning Challeng）2018  科学类试卷
        - OpenBookQA
    - 阅读理解
        - ReCoRD（Reading Comprehension with Commonsense Reasoning Dataset） 2018
        - MCScript 2.0数据集 2019 日常叙述 生活常识
    - 常识推理
        - Commonsense QA 2019  人88.9% 当前75.3% XLNet
2. 问题来源分析
> 可以猜测，基于现有知识使用众包模式建立高质量的常识问答数据集将会成为主流方法。

## 基于常识推理的问答
具有代表性的常识问答模型列举

### 常识知识库
1. WordNet, 词义知识库，同义词集整合为概念
2. ConceptNet，OMCS，语义知识图谱，边，（头概念，关系，尾概念）
3. wikipedia

### 规则和统计方法
人工标注特征，排序模型，指代消解问题

### 基于神经网络的常识问答
![](http://zrawberry.com/media/picture/3f41d40f3bb247da90e1fac4f6e116f3.png)
1. 架构
    - 常识检索模块：检索系统（知识图谱形式的知识库）网络搜索引擎（互联网）
    - 嵌入层：知识、问题、备选答案作为词向量输入；常识词向量 ConceptNet Numberbatch和DistMult
    - 主体架构：用于编码、常识推理，CNN，RNNs，Attention，图卷积神经网络GCN，注意力机制
    - 输出层
2. 基于神经网络的常识问答

### 基于Transformer和预训练模型
GPT, BERT, XLNet, RoBERTa
1. Transformer架构
    - 编码器：自注意力机制+前馈神经网络
    - 解码器：注意力模块+前馈
    - 多头注意力机制、缩放点积注意力机制
    - 优点：可并行，单词关联性
2. 预训练模型
    - ELMo：双向LSTM
    - GPT：Transformer  单向
    - BERT：
    - RoBERTa：更为健壮的BERT
3. 数据微调  数据增强
    - 微调BERT，学习开放域常识；结合目标任务给出的语料进行检索；将知识、问题和答案输入BERT
    - 多阶段微调法
    - 使用更有针对性的数据，
    - 多模型混合学习，BERT和XLNet结果求平均
4. 结合外部知识的预训练语言模型
    - 直接使用BERT学习常识
    - 外部知识结合到词向量，为常识生成随机词向量再拼接到BERT生成的词向量上，通过基于自注意力机制和序列embedding的方法进行分类
    - 排序筛选常识知识
5. 对抗学习
    - FreeLB-RoBERTa，在词向量上生成干扰数据
6. 结合图神经网络推理和预训练模型
    - 概念间的连接；结构化知识库
    - 用图神经网络对常识知识进行编码和打分；打分结果结合BERT对答案的打分，加权求和
    - 再Commonsense QA上取得了目前最佳
7. 对预训练模型常识推理能力的分析
    - 目前预训练语言模型还不能充当知识库的功能

### 其他
- 多任务学习，泛化BERT
- 常识问答方法在其他阅读理解任务上的应用

## 总结与研究展望
1. 数据集和模型存在的问题
    - 数据集的常识推理难度太低
    - 常识知识库覆盖面小，构建成本高昂
    - 模型缺少深层次的常识推理能力
    - 健壮性和泛化能力不足
    - 模型的可解释性太差
2. 未来的研究方向
    - 构建更高质量的数据集
    - 高效的知识库构建方法
    - 构建具有更深层次的常识推理模型
    - 提高模型的可解释性

文章信息

标题：常识问答

作者：快刀切草莓君

分类：机器学习

发布时间：2020年9月14日

最近编辑：2020年9月14日

浏览量：1132

↑