作者| Milvus.io
编辑|实用口红
问答系统是自然语言处理领域的经典问题，用于回答人们以自然语言形式提出的问题，得到了广泛的应用。 其典型的应用场景包括智能语音对话、在线支持、知识获取、情感类聊天等。 常见的分类有生成型、检索型对话系统； 单轮问答，多轮问答系统； 面向开放领域、特定领域的问答amp； a系统。 本文主要是一种面向检索型、特定领域的答疑系统，通常被称为——智能呼叫机器人。
过去，呼叫机器人的构建通常需要将相关领域的知识(域知识)转换为一系列规则和知识图。 的构建过程中高度依赖“人工”智能，改变场景、改变用户需要大量的重复劳动。
随着深度学习在自然语言处理(NLP )中的应用，机器读取可以从文档中直接自动找到匹配的问题的答案。 深度语言模型将问题和文档转换为语义向量，最后找到匹配的答案。 本文将谷歌开源的Bert模型与Milvus开源矢量搜索引擎相结合，快速构建基于语义理解的对话机器人。
整体体系结构
本文通过语义相似度匹配实现对话系统、大致的构建过程：
大量获取在某个特定领域有回答的中文问题(本文将其称为标准问题集)。
使用Bert模型将这些问题转换为特征向量并保存在Milvus中，Milvus为这些特征向量指定向量ID。
在PostgreSQL中保存表示这些问题的ID及其相应的回答。
用户提问时：
用Bert模型转换为特征向量
用Milvus对特征向量进行相似度检索，得到与该问题最相似的标准问题的id
用PostgreSQL给出对应的答案。
系统的体系结构图如下所示。 蓝线是导入过程，黄线是查询过程。
然后，在线问答与应用； 我手把手地教你a系统的构筑。
构建步骤
在生成之前，需要安装Milvus、Postgresql。 具体的安装步骤请参考官方网站。
1 .数据准备
本文的实验数据来自https://Github.com/Sophonplus/ChinesenlPCorpus。
该项下的FAQ答疑系统中的金融数据集，我们从中整理了共33万件数据。 结合这个数据，可以快速构建xx银行的智能呼叫机器人。
2 .生成特征向量
本系统中使用了Bert事先训练过的模型。 在开始服务之前，必须下载此模型。 3359存储. Googleapis.com/Bert _ models/2018 _ 11 _ 03/Chinese _ l-12 _ h-768 _ a-12.ZZ
使用此模型将题库转换为特征向量，以用于后续的相似度检索。 有关bert服务的详细信息，请访问https://github.com/hanxiao/Bert-as-service
导入Milvus和PostgreSQL
将上述生成的特征向量进行正规化处理，读入Milvus，然后j将Milvus返回的id和与其id对应的问题的回答读入PostgreSQL。 PostgreSQL表结构：
4 .得到答案
用户输入问题，用Bert生成特征向量，然后在Milvus库中查找与其最相似的问题。 本文用余弦距离表示两个句子之间的相似度，由于所有向量都被标准化了，所以两个特征向量的余弦距离越接近1，表示相似度也越高。 由于库与用户提供的问题相比可能没有类似的问题，所以在实践中设定阈值0.9，如果检索到的最类似的距离小于该阈值，可以返回与本系统相关的问题没有被收录的提示。
系统演示
/h1>系统初始界面如下：
在对话框中输入你的问题，将会收到对应的答案。如图：
总结
上述的问答系统搭建是不是很简单？有Bert模型的加持，你根本不需要预先对语料进行分类整理、标签化等工作。同时，得益于开源向量搜索引擎Milvus的高性能和可扩展性，系统可以支撑上亿级别的语料库。Milvus向量搜索引擎已经加入Linux AI (LF AI)基金会进行孵化，欢迎大家加入Milvus社区。让我们一起加速AI技术的大规模落地。
附录
Milvus网站：milvus.io
系统演示：https://milvus.io/cn/scenarios
详细步骤（附代码）：
https://github.com/milvus-io/bootcamp/tree/0.7.0/solutions/QA_System
声明：本文系作者投稿，不代表CSDN立场。
☞罗永浩：我今年四十八岁，还可以承受无数次的失败；iOS14或将推出系统级「小程序」功能；PyCharm新版发布 | 极客头条
☞拿下Gartner容器产品第一，阿里云打赢云原生关键一战！
☞百年 IBM 终于 All In人工智能和混合云！
☞没有监控和日志咋整？老程序员来支招
☞“抗疫”新战术：世卫组织联合IBM、甲骨文、微软构建了一个开放数据的区块链项目！
☞万字干货：一步步教你如何在容器上构建持续部署！
☞据说，这是当代极客们的【技术风向标】...
今日福利：评论区留言入选，可获得价值299元的「2020 AI开发者万人大会」在线直播门票一张。 快来动动手指，写下你想说的话吧。