闲聊对话系统评价方法汇总

在对话系统中，衡量机器人的回复是否好，以及好到什么样的程度，一直是一个难题。本文将针对闲聊型对话系统，尽可能广泛但浅要地阐述其评价方法。

背景

本文所针对的对话系统是指闲聊型对话系统(chit-chat, chat bot)，是广义对话系统中的一种子类型。另外两种常见的子类型是任务型对话系统(task-oriented)，和问答型对话系统(FAQ)。

任务型对话系统可以视为助手，满足如“播放雨天” 、“今天是雨天吗” 这类任务达成型的用户需求。任务型对话系统的重点在于区分用户的意图，比如同样提到雨天，前边的两个用户问句的意图分别是“播放音乐”和“查询天气”。

在问答型对话系统中，为了回答用户的问句，机器人从已有的“问题-答案”库里找到最相似的问题，回复那个与之搭配的答案。因此，该系统中的重点有两个，一个是“问题-答案”库的建设是否完备，另一个是相似性算法是否足够准确。

而闲聊型对话系统，所面对的用户需求则不那么明确。理想情况是，用户与闲聊机器人的对话接近朋友间的聊天，诉说和倾听同在，不带特殊目的性，却又并非不着边际。

在实际的生产系统中，往往不是单一类型的系统在回复用户，而是多种类型一起作用。比如siri和小微，都是可以同时满足任务型、问答型、闲聊型对话需求的。在这种系统中，如果用户的某些任务型需求没有被覆盖到，则闲聊可能承担默认回复或者引导的责任。

同时，在实际系统中，也可能会有使用问答型方法来完成闲聊任务的情况，比如对于问句“我心情不太好”，系统从“问题-回答”库中找出“那去跑跑步吧”这个答案作为回复。因此，我们将闲聊系统的定义限定在「生成式闲聊」的范畴。

方法

任务型对话系统要切实满足用户的需求，因此它的评价方式比较直观：用精度和召回来衡量是否正确识别了用户的意图。问答型系统也是一样，对于用户的一个问题，总是期望有一个或几个最相关的“问题”，可以用recall@n指标来衡量是否匹配到相关的问题。

与它们不一样，在闲聊任务中，对于用户的一个问题，有可以参考的答案，但没有标准答案。用于训练闲聊系统的数据是“问题-回答”对，或者“A-B-A-B…”对话流，因此对于每个上句总是有一个下句可以作为参考答案。但是因为自然语言太过于丰富，以至于绝大多数下句只能叫合适的答案，而非标准答案，或者完美答案。比如，对于“我心情不太好”这个问句，答句“高兴起来吧”就没有“我带你去吃夜宵吧”好（并非总是如此，但往往如此）。

因此，与任务型和问答型的系统相比，闲聊系统涉及到更多主观意见的参与。我们首先将评价方法分成两类：客观的，和主观的。主观的评价必须人力参与，而客观的则可以自动化。我们将线上指标单列出来，以体现最终面向真实用户的系统的好坏程度。

线上指标

1. 平均单次对话轮数

CPS (Conversations Per Session)。这是最常用的线上指标，甚至是很多生产系统的唯一 KPI。

2. 留存率

周期内平均用户 session 数提升，比如平均每周每用户 session 数。

3. 用户直接评价 bot

用户可能在聊天过程中直接夸赞 bot: "没想到你真的挺智能的"。
但往往的情况是，用户会表达对 bot 的不满: "没想到你真的挺智障的"。
而注意，有时评价的正负向不是显而易见的：“你可真智能”。

4. 信任

用户如果在同一个话题下聊得很深入，或者挑起越来越多的新话题，则表示信任 bot，聊天是愉快的。

客观评价方法

1. 通顺程度

首先，系统回复是否足够通顺，是可以客观评价的。比如“我带你去吃宵夜吧”和“我带你去啃宵夜吧”相比，人们自然能够理解它们是一样的意思，但后者实际不如前者通顺。更通顺意味着更接近人类的表达。

通过语言模型计算语句的混淆度，可以作为判断通顺程度的依据。

2. 与标准答案的相似度

如果我们一定要将“上句-下句”中的下句视为标准答案，则判断 bot 的回复是否足够接近这个下句，是评价回复质量的一个方法。

例如对于样本：
输入: 我心情不太好
标签：那去跑跑步吧
bot 回复：跑步去吧
评价方法就是，计算“跑步去吧”与“那去跑跑步吧”之间的相似程度。

2.1. 词重叠

一种常用的方法是看两句话有多少重复的字、或者重复的词。BLEU、ROUGE、METEOR，以及它们的变种，就是这样的方法。

2.2. 语义相似

字词重叠程度高不见得相似度就更高，人们更关心的语义的相似程度。比如，“锻炼去吧”与“那去跑跑步吧”，字重叠程度不高，但语义相似程度就很高了。
衡量语义相似，却不直接使用字词，那自然是用字词的转义。一类是基于词向量：Greedy matching，Embedding Average，Vector Extrema。另一类做得更为彻底，基于模型来计算相似程度。

主观评价方法

不将下句做为标准答案，则意味着评价方式将变得主观，需要人力参与。而正因为人力的参与，评价方式可以变得丰富和实用起来。

1. 相关性

1.1. 任务完成度

有没在回答用户的问题，回复的完整性，用户是否需要再重复他的整个问题或者部分问题。

比如，对于用户的问句 “我心情不太好，有什么好方法可以排解一下吗？”。
回答 “可怜一番。” 是扣题的，但完成度并不足够。
而回答 “可怜一番，跑跑步吧” 完成度就更高。

1.2. 主题

是紧扣主题，还是离题万里。

比如，对于用户的问句 “我心情不太好”。
回答 “吃了” 是离题的。
而回答 “俺也一样” 则主题相关。

2. 流畅度

2.1. 流畅

显而易见。在客观评价指标中，也提到了通顺程度，与此处的流畅度是一个意思。这可以通过混淆度指标来自动计算出来，也可以引入人工参与实现更高质量的评价。

2.2. 逻辑性

答句是容易被理解，还是思维跳跃晦涩难懂。特别体现在长句或者有多个片段的答句中。

比如，对于用户的问句 “我心情不太好” 。
回答 “心情是遭遇的内在表达，提升能力则可以改善遭遇” ，则逻辑比较隐晦。
而回答 “要是再努力一点，你也许就不会碰到不高兴的事情了”，则逻辑比较简洁易懂。

2.3. 精炼

啰嗦繁琐的答句常常是不友好的，精炼的答句则受人喜欢。

比如，对于问句 “我心情不太好”。
回答 “我一直认为，那个，昨天的心情不好，啊，今天的心情不好，那么呢，明天的心情可能也不会好”，是比较啰嗦的。
而回答 “昨天和今天就算了，明天却一定要高兴起来呀”，就比较精炼一点。

3. 上下文一致性

相比于单轮对话，多轮的对话将面临新的问题。

3.1. 逻辑一致性

在多轮闲聊中，下文应当是上文的自然发展，保持上下文逻辑的一致性是很重要的。

比如，对话：
User: 我心情不太好。
Bot: 那去跑跑步吧。
User: 我不喜欢跑步。
Bot: 嗯，跑步是一个有点无聊的运动。
就失去了逻辑一致性。
而如果最后 bot 回复 “那去参加其他喜欢的运动吧”，就可以保持对于上文的逻辑一致。

3.2. 主题一致性

在用户的多轮问句中，只看最后一句，可能是无法准确把握其原本主题的。

比如，对话：
User: 我心情不太好。
Bot: 那去跑跑步吧。
User: 我脚崴了。
Bot: 赶紧去医院看看。
就丢失了真正的主题。

3.3. 人格一致性

此处人格的范围比较广泛，包括了bot的身份信息、喜好主题、基本观点、以及说话风格等。

比如对话：
User: 我心情不太好。
Bot: 去旅游吧，我猜你和我一样旅游，推荐你去浪漫的土耳其。
User: 我不喜欢旅游，喜欢宅着。
Bot: 我也喜欢宅着！来开黑呀。
就没能维持人格的一致性。

4. bot 参与度

bot 是否在真诚地跟用户聊天，抑或是敷衍了事。

4.1. 冒犯

首先，如果 bot 的回复不友好，冒犯到用户，则可能直接终结掉对话。

4.2. 回复的多样性

针对同样的问题，Bot 总是返回同样的回复，即多样性差，会给用户这个 Bot 真是一个 Bot 的感觉。

比如对于问句 “我心情不好”，Bot 第一次回复 “去跑跑步吧” 是不错的，但总是回复这一句却是比较糟糕的体验。

如果用问答型对话系统的方法来做闲聊，这个问题会极其突出。

4.3. 富含信息

bot 总是返回看似安全，却极其无聊的回复，也会令自己成为一个真正的话题终结者。

比如对于问句 “我心情不太好”，bot 回复 “那开心起来” 是比较安全的，却也容易终结聊天。

4.4. 富含情绪

除非用户需要，情绪饱满的 bot 通常比情绪严肃的要受欢迎。

5. 有趣

有趣几乎是最终极的主观指标，没有用户会拒绝一个有趣的 bot。而它与其他指标有时是冲突的，比如一个有趣的回复很可能不是完成度高的、逻辑简单的、简练的、人格一致的……

实用性方案

主观评价的时间和人力成本较高，因此在开发一套系统之后，首先通过客观评价，再进入主观评价，是比较合理的。随后，通过 A/B test 在真实场景下收集线上指标作为最终评价。

主观评价的指标非常丰富，用于反馈到系统优化上是大有裨益的。但如果只为了验证是否能够上线，大可不必这么麻烦，而使用学术界常用的“合适性”指标就够了。比如对Bot的回复进行5分制主观评价：
1分或2分：完全答非所问，以及含有不友好内容；
3分：基本可用，问答逻辑正确；
4分：能解决用户问题且足够精炼；
5分：在4分基础上，能让人感受到情感及人设。