基于知识图谱的人机对话系统的设计与实现
这是一篇关于人机对话系统,任务型对话系统,知识图谱,层级压缩的论文, 主要内容为近年来,人机对话系统作为人工智能的一个重要领域,得到了许多关注和发展。按照对话的场景,人机对话系统主要分为两类:任务型人机对话系统和非任务型人机对话系统。前者可以代替人类完成基础的重复工作,节省人力成本,例如银行、电商等的智能客服系统;后者能够陪伴用户进行趣味聊天,例如微软的小冰。传统的任务型人机对话系统主要基于槽值填充的方式,引导用户逐次提供和任务信息槽(如酒店预订系统中的酒店名称、入住时间、离开时间等)相关的输入,进而完成相应的对话任务。这种方式一般要求预先定义好任务的本体,在对话过程中槽的个数固定不变,槽和槽之间相对独立,使得对话系统难以处理复杂的对话任务;同时,信息槽的定义依赖于具体的任务领域,导致对话系统难以进行领域迁移。基于知识图谱的任务型人机对话系统在领域知识图谱的驱动下,开展与用户的对话。由于知识图谱可以表示复杂的实体的语义关联、事件的发生逻辑,可以根据需要方便的更新,使得对话系统可以处理复杂的任务场景,提升了对话的灵活性,并在一定程度上缓解了领域迁移的复杂度。本论文设计并实现了一个基于知识图谱的任务型人机对话模型。在标准的管道式任务型对话系统的基础上,摒弃了任务的信息槽,引入了领域知识图谱的信息和结构,使得对话状态可以用知识图谱的形式表示,并通过设计层级压缩的方法解决了对话状态空间过大的问题,使得系统可以在一个庞大的领域知识图谱上,开展复杂的人机对话。同时这个方法适用于不同领域类别下的模型自适应,克服了任务型对话难以进行领域迁移的缺点。最后分别在电力系统中的办电和买电两个不同的客服任务上,验证了本文提出的模型的有效性。实验表明本文提出的模型和算法能够利用知识图谱的信息和结构驱动对话,在保证对话成功率的前提下,开展复杂的任务型对话,并能有效解决领域迁移困难的问题。另外,本论文基于提出的模型框架,分别设计并实现了办电领域人机对话系统和买电领域对话系统。前者作为办电领域客服机器人,与用户进行对话并对用户提出的问题进行解答,协助用户完成办电业务。后者则聚焦于买电领域的人机对话,协助用户完成买电业务。
基于变分推理的用户偏好对话式推荐系统研究
这是一篇关于对话式推荐,变分推断,用户偏好追踪,任务型对话系统的论文, 主要内容为目前,推荐系统已成为信息寻求过程中不可或缺的工具。对话式推荐系统是推荐系统的重要分支,该系统能够通过与用户对话的方式,引导用户表达自己的需求,帮助系统理解用户的偏好并做出正确的推荐。在对话式推荐系统中,系统和用户动态地进行通信与交互,这一模式能够更加明确的获取用户偏好。通常情况下,对话式推荐系统通过相对简单直接的方式与用户交互并做出推荐,即系统在对话中不断显式地询问用户关于物品属性的偏好,然后决定推荐哪些物品。另外,系统常常使用话题追踪来提供更加自然流畅的回复,然而,仅仅追踪话题不足以识别用户在对话过程中所表现出的真实偏好。本文解决了在对话式推荐系统中准确识别和追踪用户偏好的问题。在解决这一问题的过程中,主要面临以下三个挑战:(1)一段持续进行的对话中仅仅包含用户的短期回复反馈;(2)用户偏好是一类无标注数据,目前没有标注用户偏好的数据集;(3)对话中提及的物品和话题之间可能存在着复杂的语义关联。为应对以上三个挑战,本文提出了一种端到端的模型来完成对话式推荐系统中的任务。具体来讲,本文将用户偏好分为长期偏好和短期偏好并将其建模为两个相互独立的隐变量,这两个隐变量都是关于话题的概率分布,为求解这两个隐变量,本文使用了随机梯度变分贝叶斯估计来不断优化Evidence Lower Bound的下界。接下来,本文使用策略网络来完成以下功能:如果系统需要与用户沟通以进一步明晰用户需求,那么策略网络生成一个话题,系统回复就围绕这个话题产生;如果系统希望直接向用户做出推荐,那么策略网络生成推荐物品。为提升策略网络的效果,根据对话中提取的话题线,本文在异构知识图谱上进行路径推理,这一操作有助于生成更加连贯的话题和更加准确的推荐结果。本文在两个广泛使用的基准数据集上进行了充分的实验,实验结果表明,本文提出的方法在客观评价指标和主观评价指标上均优于最先进的基线模型。
面向自动辅助诊疗的对话系统关键技术研究
这是一篇关于任务型对话系统,知识图谱,图神经网络,强化学习的论文, 主要内容为面向自动辅助诊疗的对话系统因其能与患者对话,获得患者症状并自动进行诊断,从而进一步简化诊断程序和降低收集患者信息的成本而受到工业界和学术界的关注。然而,现有的对话数据集数量少且质量差给面向自动辅助诊疗的对话系统带来了更为严峻的挑战与要求。目前针对面向自动辅助诊疗的对话系统研究没有很好的整合对话的上下文信息,对同一疾病的症状间关系的推理过程不能反映真实的诊断情况。针对以上问题,本文聚焦面向自动辅助诊疗的对话系统关键技术,针对其中的问题开展研究,主要研究内容如下:(1)针对自动辅助诊疗的对话系统中语料库缺乏的问题,本文从大量的未标注的对话数据中筛选出可用数据,构建了面向多轮对话的数据集。本文参考了CCL2021对话评测数据集结构,进一步制定相应标注规范和开发相应标注工具。在医学专业相关人员的指导下,按照标注规范,借助分词和命名实体识别等医疗领域知识和相关技术,对基于CMedQA数据集的多轮对话数据集进行了标注,构建并公开多轮对话数据集,以便于后续的研究和分析。(2)针对自动辅助诊疗的对话系统中自然语言理解模块多任务处理的问题,本文提出一种面向自然语言理解的管道式多任务异构图网络模型。该模型使用管道式的方法完成医学命名实体识别、医学命名实体标准化和症状阴阳性判断任务,使下游任务利用上游任务的知识,让上游任务生成的标签作为辅助标识符,嵌入到下游任务的输入中,并进一步生成推理的异构图以优化多轮对话策略学习。本文提出的模型相较两个基线模型F1值高出了5%和3%。(3)针对自动辅助诊疗的对话系统中对话轮数多、疾病诊断准确率和症状匹配率低的问题,本文提出一个面向多轮对话策略学习的推理图网络模型。该模型用于面向自动辅助诊疗的对话系统的对话管理模块,通过症状判别模块决定是进行强化学习的生成,还是进行基于BM25的疾病筛选。其中预测的症状信息是通过基于深度Q网络的强化学习网络、基于异构图推理的症状生成网络和症状到症状的外部知识图谱共同决定的。而通过基于BM25的疾病匹配模块优化症状匹配率、疾病准确率和对话轮数。经过大量实验表明,本文提出的模型在面向自动辅助诊疗的对话系统中不但在疾病准确率和症状匹配率上较基线模型分别提升了2%和9%,而且在平均对话轮数上也减少了0.4轮。
基于对话状态追踪的对话推荐研究
这是一篇关于对话推荐,对话状态追踪,对比学习,任务型对话系统的论文, 主要内容为对话推荐系统(Conversational Recommendation System,CRS)是一种以推荐任务为导向去进行多轮用户交互,逐步挖掘用户兴趣偏好的推荐系统。虽然在过去几年中,对话推荐相关研究在许多方面都取得了重大进展,但仍面临着以下几点挑战:1)对话语义提取能力不足,没有充分利用对话文本信息。现有的对话推荐算法简单的将对话信息通过编码器融入传统推荐模型中,对话处理过程粗糙且存在噪声,无法准确的提取用户偏好,导致推荐效果有限,对话生成能力不足;2)用户历史信息丢失,用户画像构建不精确。对话推荐系统以本次对话信息为研究对象,同一用户分开处理并每次生成全新的用户表示,没有充分利用用户的历史信息,进而导致“冷启动”问题。针对以上挑战,本文提出了基于对话状态追踪(Dialogue State Tracking,DST)的对话推荐方法。将推荐视为一种任务,尝试将任务型对话系统中的对话状态追踪技术,应用于对话推荐系统对话信息的语义提取中,以提高模型的推荐效果和对话生成能力。然而,直接将已有的对话状态追踪模型应用到对话推荐领域效果并不理想。对话推荐场景下,现有的对话状态追踪方法存在以下几个问题:1)对话状态追踪联合精度低,对话状态提取不理想。由于目前的任务型对话数据集在制作和标注过程中,存在人为主观的或者意外的标注结果,这些噪声对模型的训练会产生比较大的负面影响,尤其是在少样本分类领域,导致模型的联合精度低,对话推荐系统性能提升不明显;2)对话状态追踪效率不高,推理时间长。对话状态追踪方法采取整个对话历史信息作为模型输入,这种输入形式会随着对话的进行输入数据长度持续增加,进而使模型训练和推理计算量不断增大,存在很大的效率问题,而在对话推荐场景下,推荐的生成时间严重影响着用户体验。针对上述问题,本文提出了基于对比学习的对话状态追踪方法,可以有效促进对话推荐场景下对话文本信息的提取。综上,本文的研究工作主要包含以下三点贡献:(1)提出了基于对比学习的对话状态追踪方法。首先,为了提升对话推荐场景下现有对话状态追踪方法的联合精度,本方法将对比学习加入对话状态追踪训练中,通过聚合相同对话状态的共性特征,疏远不同对话状态的特性特征来提升模型的对话状态类型分类能力,并针对分类数据量少的样本类别进行数据增强,对数据量少的标注类别进行整合处理来提升模型对少样本分类数据的学习能力。其次,针对目前对话状态追踪效率不高的问题,本方法将对话状态追踪分解成两阶段的子任务:1)对话状态类型分类;2)对话状态生成。对于每个对话状态,先进行{NONE,DONTCARE,GEN}状态类型的分类,再对状态结果为GEN的对话状态进行对话状态生成。由于每轮对话只对部分对话状态进行对话状态生成,相较于现有对话状态追踪方法每轮对话全部对话状态生成,极大的提高了对话状态追踪效率。(2)提出了基于对话状态追踪的对话推荐方法。首先,为了解决对话推荐对话语义提取能力不足,没有充分利用对话文本信息的问题,本方法将推荐视为任务型对话系统的一项任务,引入对话状态追踪技术来增强对话推荐里对话文本信息的语义提取能力。其次,针对用户历史信息丢失,用户画像构建不精确的问题,本方法通过构建User Embedding矩阵来存储用户历史偏好,通过GCN和RGCN训练得到数据库中所有item和state的embedding,并在每次对话中通过语义统一模块动态调整其特征来融合用户的长短期兴趣。(3)本文的基于对比学习的对话状态追踪方法在当前学术界广泛使用的公开数据集MultiWOZ2.0和WultiWOZ2.1上进行了全面的实验,与其他先进方法相比,模型联合精度分别取得了2.15%~31.18%和3.28%~51.86%的绝对性能提升,并且推理效率提升了34倍。本文的基于对比学习的对话推荐方法在公开对话数据集ReDial上进行了广泛的实验,并与目前主流的对话推荐方法在推荐和对话模块进行了性能对比,实验证实了方法的有效性,对话推荐场景下模型的Recall@10提升了7.2%,对话生成的多样性Dist-2提升了35.9%。
基于序列的意图识别与回复生成技术研究与应用
这是一篇关于任务型对话系统,意图识别,回复生成,自然语言处理的论文, 主要内容为随着自然语言处理技术的发展,任务式对话系统的应用也越发广泛,其中意图识别(Intent recognition)与回复生成(Response generation)是任务型对话系统中的两个重要的组成部分。意图识别旨在通过对用户的上下文的理解,判断出用户当前的行动目标,而回复生成根据当前的对话状态生成对话内容反馈给用户,使得机器回复内容更加符合对话历史与当前场景。因此,对于意图识别和回复生成的研究有助于构建更加符合用户需求的对话系统。当前,意图识别与回复生成领域仍然面临一些挑战。一方面,在意图识别模型中,系统与用户间的多轮对话历史往往无法得到充分应用,同时由于用户在对话过程中意图会随着用户的需求发生转折,用户当前对话的意图难以判断。另一方面,由于生成模型对于历史信息的感知并不充分,生成的回复内容常常会与对话历史冲突或重复。以上述问题为出发点,本文进行了以下工作:(1)针对当前智能系统对话中存在的意图序列相关的特点以及多模态信息混杂的情况,本文提出一种基于序列的多模态对话意图识别模型。该模型结合了在对话过程中存在的图像信息,通过对话序列捕捉用户的意图变化,并引入图注意力网络优化了对意图序列的编码。在真实电商场景下的实验数据表明,引入图注意力网络的意图序列建模和多模态信息能够让模型更加精准地识别出用户当前对话的意图。(2)现有的回复生成模型忽略了对话历史感知中历史对话动作序列的重要作用,本文针对此提出一种基于对话动作序列的协同生成模型。该模型中将对话动作预测与回复生成视为多任务进行学习,并引入了历史对话动作序列信息。在多轮对话数据集Multi WOZ上的实验数据表明,引入历史对话动作序列后的模型在各项指标上的综合表现具有优越性。(3)本文将序列建模的思想与上述工作中的回复生成模型应用在心理学,开发了一种基于对话策略的情绪支持对话系统,该系统在助人技术理论指导下定制对话策略,通过对话历史选择合适的策略引导回复生成,系统框架基于Django实现,并以Pepper机器人作为典型终端进行部署,能够在用户情绪消极时,为用户提供有效的情感支持。
基于知识图谱的人机对话系统的设计与实现
这是一篇关于人机对话系统,任务型对话系统,知识图谱,层级压缩的论文, 主要内容为近年来,人机对话系统作为人工智能的一个重要领域,得到了许多关注和发展。按照对话的场景,人机对话系统主要分为两类:任务型人机对话系统和非任务型人机对话系统。前者可以代替人类完成基础的重复工作,节省人力成本,例如银行、电商等的智能客服系统;后者能够陪伴用户进行趣味聊天,例如微软的小冰。传统的任务型人机对话系统主要基于槽值填充的方式,引导用户逐次提供和任务信息槽(如酒店预订系统中的酒店名称、入住时间、离开时间等)相关的输入,进而完成相应的对话任务。这种方式一般要求预先定义好任务的本体,在对话过程中槽的个数固定不变,槽和槽之间相对独立,使得对话系统难以处理复杂的对话任务;同时,信息槽的定义依赖于具体的任务领域,导致对话系统难以进行领域迁移。基于知识图谱的任务型人机对话系统在领域知识图谱的驱动下,开展与用户的对话。由于知识图谱可以表示复杂的实体的语义关联、事件的发生逻辑,可以根据需要方便的更新,使得对话系统可以处理复杂的任务场景,提升了对话的灵活性,并在一定程度上缓解了领域迁移的复杂度。本论文设计并实现了一个基于知识图谱的任务型人机对话模型。在标准的管道式任务型对话系统的基础上,摒弃了任务的信息槽,引入了领域知识图谱的信息和结构,使得对话状态可以用知识图谱的形式表示,并通过设计层级压缩的方法解决了对话状态空间过大的问题,使得系统可以在一个庞大的领域知识图谱上,开展复杂的人机对话。同时这个方法适用于不同领域类别下的模型自适应,克服了任务型对话难以进行领域迁移的缺点。最后分别在电力系统中的办电和买电两个不同的客服任务上,验证了本文提出的模型的有效性。实验表明本文提出的模型和算法能够利用知识图谱的信息和结构驱动对话,在保证对话成功率的前提下,开展复杂的任务型对话,并能有效解决领域迁移困难的问题。另外,本论文基于提出的模型框架,分别设计并实现了办电领域人机对话系统和买电领域对话系统。前者作为办电领域客服机器人,与用户进行对话并对用户提出的问题进行解答,协助用户完成办电业务。后者则聚焦于买电领域的人机对话,协助用户完成买电业务。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:毕设导航 ,原文地址:https://bishedaima.com/lunwen/48937.html