今年6月，京东一年一度的618店庆拉开帷幕。 许多京东用户在今年的618上发现，京东上线了新的AI导向机器人JOY。 继承了京东经典的机器狗形象，可以为用户解答618店庆相关问题。
对于京东用户提出的各种问题，JOY往往能给出满意的回答，也可以和用户闲聊。 另外，JOY为了应对用户的反复追究，加强了自己的多次对话能力。
在京东JOY强大的对话能力中，基于开放域目标驱动的生成性对话服务来自人工智能企业“深入思考人工智能”(iDeepWise.ai )。 在多形态、深刻的语义理解、人机对话等核心AI技术上不断突破创新。 这些新技术的反复，一步步推进着AI商业化的落地。
AI对话机器人背后的黑科技究竟是什么？
AI人机对话在商业化落地上有很多场景，如智能呼叫、服务机器人、智能呼叫、智能终端交互、智能家居交互、电视语音交互遥控器等。 这些交互场景背后的基础技术是交互技术，其中最核心的是语义理解技术。
智能呼叫可能是目前最常见的人机交互场景。 很多人体验AI的对话能力也是从智能客服开始的。 但是，如果智能呼叫缺少语义理解技术，或者语义理解技术不充分，则会发生以下现象。
某平台的“智能呼叫”不能理解用户的自然语言
过去，互动产品的回答策略大多基于“规则”。 也就是说，事先输入系统内指定的关键字，一旦用户触发指定的关键字，智能呼叫就会给出相应的回答。
例如，在智能呼叫领域，当系统监控用户的提问与“检查快递”一词相关时，会自动提供物流信息。 但是，如果采用“看看我的快递送到了哪里”这样复杂的提问方式，就什么也做不了明智的顾客服务。
而且，如果用户问“有必要检查快递的身份吗”等问题，同样会以“检查快递”这一句为触发。 这时，系统就会给出南辕北辙的答案。
比较上述人机对话的不良表现和体验，深入思考的意义理解和运用人机对话技术的产品，体验和表现都相当出色。 以下屏幕快照：
深入思考的机器人：可以了解用户喜好的个性化对话
对智能营销机器人的深入思考：根据历史信息，提出推荐
深入思考AI问好医： AI在学习完医生的知识后，会自动回复健康咨询的上下文
深入思考iDeepwise以数据和AI模型驱动的深刻含义理解和MRC技术为人机对话产品的核心。 其自研的多模态深度语义理解引擎依赖于NLG (自然语言生成)、MRC (和DM ) )等任务中的原理创新，以便AI能够读取用户的自然语言并做出针对性的回复
在准确理解用户意图的同时，深入思考的多模态语义理解引擎还可以在对话中不断了解用户，了解用户的图像、个性化需求和兴趣，并根据用户的图像展开个性化的对话和推荐
另外，还可以根据场景赋予对话机器人不同性格的“角色”，让用户感受到AI对话机器人服务独有的情感体验。 该黑科技赋予IP形象“生命”，使IP形象成为虚拟世界中具有不同“生动性格”的“AI虚拟人”，能够关爱用户、关爱用户。
深层次的多模态语义理解技术使深层次的思维在AI人机对话领域形成了领先的优势。 2020年6月，中国中文信息学会(CIPS )和中国计算机学会) CCF )主办的中文语言理解全球权威大赛“2020语言与智能技术大赛”上，深入思考，在全球1000多个参与机构中脱颖而出，在机器评价指标和人工评价指标中，
据说取得这个成绩是由于深入思考的团队提出的“多源整合解码器”的深入神经网络模型技术。 该技术可以在AI人机对话框上顺利引导用户交流，积极沟通，结合MRC机器的阅读理解、用户图像、目标计划的深度，适应多场景APP交流，快速迁移多个场景
深刻思考的创始者夏博士说：“腹有诗书气自华”，通过系统地不断阅读更多的书，让机器能够“理解和思考”内容，实现自然流畅的人机交互。 深度思考多模态深度语义理解引擎iDeepwise.ai 5.0目前也正式发布了APP。 如果5.0版的引擎能够读取和理解非结构化语音、视频和文本，从而使机器能够经常阅读和理解互联网上的语音、视频和文本，机器就会变得更“聪明博学”，机器会更了解人类
深入思考多模态的深层含义理解和人机交互引擎iDeepwise.ai 5.0包括电子商务、银行、保险、智能终端(扬声器、手机、汽车、智能屏幕)、游戏、虚拟
AI——从感知走向认知
“现在，感知阶段的人工智能走向认知人工智能是人工智能发展的必然阶段，多模态的深度语义理解是认知人工智能阶段中的关键核心。”深思考人工智能创始人优秀的夏天博士对36氪表示。
ssdsl模态语义理解？简而言之，通俗化来讲就是让机器可以“看懂、听懂、读懂”。而深思考的人工智能多模态深度语义理解，就是让机器可以看懂视频图像，可以听懂语音，读懂文本等多模态非结构化信息背后的含义。
如何让机器能够阅读理解？这就依赖机器阅读理解技术（MRC），在MRC领域，深思考同样成果斐然。在2019年的中文机器阅读理解竞赛中，深思考凭借着自研的BMANet2.0模型，在2502家知名学术科研机构和企业团队中脱颖而出，刷新了SOTA记录，并在两项评测指标中均登顶榜首，获得全球冠军。
例如，在电商场景，传统的电商智能客服，需要系统开发商人工整理大量问答对、知识图谱、知识库或规则，并通过问答对匹配、规则匹配，实现人机对话。使用MRC技术后，系统就可以直接阅读理解商品的说明书，极大地提高了效率，减少了人力成本，并大大提高了智能客服的“智商”。
AI商业化新基建——多模态语义理解
目前，产业界普遍认为，多模态语义理解将会成为AI在各行各业实现大规模商业落地的重要基础设施。这一逻辑背后的原因非常简单——现实世界本身就是多模态的。“就像你去医院看病，医生要望闻问切，对患者各种模态的状况进行检查（比如血、尿，体温，MR，详细咨询病情等），不能只凭线上聊天的几行文字就做出诊断。”
多模态语义理解具备了同时多种模态信息进行深度理解的能力，所以适配的应用场景就更广泛，因为现实中的场景都是多模态的。例如，在医疗场景，医生会对就诊病人“望闻问切”；电商场景，用户会在咨询时发来语音或图片或文本；在线教育场景，学生总是期待老师能够通过视频、音频和解说文字来教学，通过图文并茂实现更好的教学效果。就连人类的社交场景也是多模态的，人们总是期望能见面详谈，能面对面看到对方的样子、姿态、表情、声音，并通过对话、声音、视觉等多种模态信息，理解对方的意图。
人工智能多模态语义理解存在着广阔的商业前景，并有望成为AI行业的新基建。
凭借着在人机对话、机器阅读理解、多模态语义理解领域的技术积累，深思考已在智慧医疗、智慧生活、智慧商业三大AI场景成熟应用落地，并基于其iDeepWise5.0 多模态深度语义理解引擎的技术优势，不断快速适配更多应用场景，在虚拟偶像、二次元平台、游戏等领域不断开疆拓土。让机器更理解人类，未来可期，也是深思考的未来不断探寻之路。