闲聊对话系统的前沿综述

随着聊天数据的不断积累，深度学习技术的不断发展，闲聊对话系统在学术界和工业界越来受到重视。本文调研了闲聊对话系统近年来的部分关键工作。

由于能力和精力所限，所列举的工作皆是近年来实用潜力较大和被引用较高的，不能涵盖所有方向，也有很多很棒的工作被遗漏在外，将持续补充。

代码

提供了代码的 paper 被认为结论更加可靠，容易实现。

ParlAI[1] 是 Facebook 组织的一站式对话评价平台，包含了很多对话系统相关的任务集，以及一些模型。

PaperWithCode 集成了一些 paper 的开源实现，并追踪在任务集上的表现。闲聊对话相关的主题主要包括 chatbot[2] 和 dialog[3]。

综述论文

[10] 在 2017 年总结了当时的对话系统前沿工作，不限于闲聊系统。在闲聊部分，调研了这几个主题：seq2seq模型、上下文、多样性、主题和个性化、外部知识、交互学习、评价方法。

[9] 也发表于 2017 年，总结了在此之前深度学习在对话系统中的应用，不只限于闲聊。

[11] 发表于2018年，涵盖内容较少较浅。

DL 基础模型

SC-LSTM[6] 是较早用 LSTM 做答案生成的方法。

HRED[4], 构建了层次化的 RNN, 一层为token，更高一层为 utterance。

后来强化学习[7]和对抗学习[8]也被用到对话生成中。

上下文

DCGM[13] 发表于2015年，它区分上下文、提问者、回复者，使回复变得上下文敏感。

HRED[4] 利用明显设计的两层模型来显式编码上下文，是不错的baseline。

[14] 做了一系列实验，探索如何更有效的利用上下文，其中一个结论是明显层次化的设计更优秀。

[15] 利用层次结构，并加入两层attention来充分利用上下文：词级别attention和句子级别attention。

外部知识

GenQA[24] 在 seq2seq 框架中，引入了知识库查询，并辅助 decoder生成回复，可以完成类似于“姚明多高”这样的问题。

[25] 使用Twitter对话数据，匹配 Foursquare 中的信息作为辅助知识，生成更有信息量的回复。

Tri-LSTM[26] 在检索式对话系统中，引入额外知识库，实现更好的recall指标。

主题一致性

DOM-seq2seq[16] 系统联合训练主题分类器、回复生成器、re-ranker，来保证对话流的主题一致性。

TA-seq2seq[17] 引入预训练的 LDA，同时利用 input attention 和 topic attention，使回复更加符合主题。

人格一致性

SPEAKER MODEL[18] 将背景信息和说话风格编码到embedding中，来实现在对话中保持人格一致。

ECM[19] 识别对话中的情绪，使用额外的情绪embedding，并在回复中显式表达情绪。[20] 与之指导思想相似，实现方法不同。

[22] 在 encoder-decoder的基础上，做人格信息检测，来辅助decoder，以维持人格信息的一致。

[21] 和 [23] 利用 transfer learning 的思想来实现多种风格。

引用

[1] ParlAI. https://github.com/facebookresearch/ParlAI
[2] PaperWithCode/chatbot. https://paperswithcode.com/task/chatbot
[3] PaperWithCode/dialog. https://paperswithcode.com/task/dialogue
[4] HRED. Building End-to-End Dialogue Systems Using Generative Hierarchical Neural Network Models
[5] MrRNN. Multiresolution Recurrent Neural Networks An Application to Dialogue Response Generation
[6] SC-LSTM. Semantically conditioned lstm-based natural language generation for spoken dialogue systems
[7] Deep Reinforcement Learning for Dialogue Generation
[8] Adversarial Learning for Neural Dialogue Generation
[9] Deep Learning for Dialogue Systems
[10] A Survey on Dialogue Systems- Recent Advances and New Frontiers
[11] Survey of Intelligent Chatbot Technology
[12] Evaluating and Informing the Design of Chatbots
[13] DCGM. A neural network approach to context-sensitive generation of conversational responses
[14] How to make context more useful? an empirical study on context-aware neural conversational models
[15] Hierarchical recurrent attention network for response generation.
[16] DOM-seq2seq. Domain aware neural dialog system
[17] TA-seq2seq. Topic aware neural response generation
[18] Speaker Model. A persona-based neural conversation model
[19] ECM. Emotional chatting machine
[20] Affective Neural Response Generation
[21] Neural personalized response generation as domain adaptation
[22] Assigning personality/identity to a chatting machine for coherent conversation generation
[23] Personalizing a dialogue system with transfer reinforcement learning
[24] GenQA. Neural generative question answering
[25] A knowledge-grounded neural conversation model
[26] Tri-LSTM. Augmenting end-to-end dialogue systems with commonsense knowledge
[27] A neural network approach for knowledge-driven response generation