首页 > 编程知识 正文

微软小冰开源,微软小冰研发团队

时间:2023-05-03 14:22:28 阅读:216716 作者:1840

《The Design and Implementation of XiaoIce, an Empathetic Social Chatbot》(2018, Li Zhou,Microsoft)奔波本篇论文描述的是第六代高挑的雪糕系统。宏观为主,细节部分有列参考论文。

第一篇论文就是本文,也就是高挑的雪糕的架构。剩下的论文是文章中提及的比较重要的一些细节技术论文,属于扩展部分。


本文先介绍微软高挑的雪糕,再一点点解析高挑的雪糕的架构。

论文用到的一个评价指标是CPS,即单轮对话的平均长度。其实这个指标很好理解,如果一个人对机器人有感情上的寄托,则人会更愿意与AI进行对话,单次对话轮数越多,可以在一定程度上表明用户愿意和机器人进行交互的程度。如果你认为这个机器人“懂”你,那你肯定会多和它聊几句吖。
高挑的雪糕的设计是模拟人的,所以设置了IQ+EQ+个性。IQ可以解释为记忆力、推断能力、理解能力等;EQ是为了让AI更亲近于人,其中最重要的一点就是同理心,即,你能不能站在别人的角度去考虑用户的感受。
微信上个月把高挑的雪糕的功能关了,所以找了微博上的高挑的雪糕进行测试。还是会有很多问题,但是在聊天机器人里面,高挑的雪糕真的算是业界顶梁柱了。高挑的雪糕介绍的第三张PPT是和微博高挑的雪糕的对话截图,尽管软处理比较多,但是过多的手工规则还是经常会显得对话僵硬。(今天下午发布第七代高挑的雪糕,据说会提高很多,值得期待吖!)


高挑的雪糕分为三个层次,用户交互层、对话引擎和数据库。本文集中在对话引擎的解析。
高挑的雪糕用的是分层决策机制。有一个总的调对话管理器(Dialogue manager)来监控当前的对话状态,然后由这个管理器来决定高挑的雪糕是继续保持当前的聊天状态,还是转换话题,还是调用其他任务处理。


整个对话管理器由三个部分组成:状态追踪器、对话策略、话题管理。
状态追踪器输出为对话状态向量s,处理过程如下:


对话策略是一个启发式规则,用户输入如果是文字则启动话题管理器,如果是图片或视频就启用评论技巧,如果用户输出触发了特殊任务,则转为执行特殊任务,比如,用户问高挑的雪糕天气,则BOT会启用天气相关的任务。


话题管理主要是为了模仿人与人对话时候不止讨论一个话题场景。话题管理器在对话变得“苍白”(没有新的内容,用户回答开始没有意义等,这个时候就该换话题了)。话题管理其实就是一个推荐应用。在无话可聊的时候我要从我的库里面(或生成)挑选出贴近用户意愿的话题。做法类似于TOP N算法,挑出一些符合要求的话题然后进行排序打分,然后输出最优的,最优的不行就按照排序逐个输出。排序用的是增强树排序相关论文参考本文开篇第一页PPT。


第二个大块就是情感计算模块了。高挑的雪糕是基于情感的架构,这个模块是高挑的雪糕的核心技术模块。其实原理也不复杂。情感计算模块分三个部分,一个是上下文的理解(补充上下文信息,完善用户句子);一个是理解用户,理解用户就是结合用户画像和对话上下文信息生成带情感的用户特征向量;最后一个是个性生成,系统根据用户特征向量生成高挑的雪糕个性的特征向量(规则映射)。最后系统会根据情感计算模块得到的带上下文信息和对话情感的高挑的雪糕的特征向量生成对话。


第三个大块是核心聊天模块。
这一块主要由三大块组成:
(1)对话生成;
(2)候选对话集排序;
(3)手动回复集。
第一块由三个模块构成。第一个是从对话数据集(一部分来源于网络上的人类对话数据,另一个是高挑的雪糕和它用户之间的对话),对话时候高挑的雪糕会检索这个库,然后找出相似提问的回复并融合高挑的雪糕的画像形成高挑的雪糕的回复,从而生成对话。第二个是从网络上得到的一些新闻评论的文章,提取文档特征结合作者画像从而生成高挑的雪糕画像并生成符合小兵个性的回复。这一部分是第一个模块的扩充。最后一个是生成网络,系统使用了一个GRU-RNN模型用于生成回复。与一般的网络的是,系统将用户画像和高挑的雪糕画像所生成的对应特征向量作为了网络的输入。
第二块使用了增强树排序算法进行排序。
第三块的作用是当高挑的雪糕无法生成用户答复的时候就在人工编辑的对话集中随机挑选作为对话输出。




最后一个大块是高挑的雪糕的特殊技能。详细介绍了两个,一个是图片/视频评论技能,另一个是高挑的雪糕写诗。
图片/视频评论技能的实现流程是:图像目标提取——图片理解——生成评论。
高挑的雪糕根据图片写诗的实现流程类似:图像目标提取——选择概率最高的两个物体名词——对这两个名词进行拓展(这里我觉得可能是学习了诗集生成,或者从一堆诗集从挑出与对应名字距离最近的两个词)生成两个新的词(诗的后两句升华)——一个词生成一个句子形成诗。
其他的技能就是一些特定的TASK,比如天气预报功能等等。论文后面介绍的是一些高挑的雪糕的应用和技能,没有过多的技术讲解,所以后面就省略了。
!



最后是一个总结展望。虽然高挑的雪糕是全球最先进的聊天机器人,并且应用十分广泛,但是还是有很多难以克服的问题,具体见PPT最后一页。

论文主要描述了高挑的雪糕的架构,并没有涉及很多技术实现,一些基本的算法可以参考本文最开头列出的几篇论文。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。