面向黑盒推荐系统的推荐解释生成
这是一篇关于自然语言处理,变分推断,可解释性,推荐系统的论文, 主要内容为近年来,与推荐解释生成相关的模型方法层出不穷。其中,后处理式的推荐解释生成方法由于可以为任意复杂的推荐系统生成解释,而不必关心模型的内部实现机制,因而得到了越来越广泛的关注。后处理式的推荐解释生成主要分为基于模板生成和基于自然语言生成生成两种,基于模板的方法通过在预先手工定义的模板中填入关键词来完成解释的生成。尽管通过这种方法得到的解释质量较为稳定,但这种方式缺乏可扩展性,生成句子的多样性的较低,很难满足现实中众多的要求。而基于自然语言生成的方法通过在数据中自主的学习新语句并生成解释,因而有较高扩展性,且生成解释的多样性显著提高,因此受到了越来越多的关注。然而,本文发现现有的基于自然语言生成的方法尽管能在一些情况下生成有效的解释,却仍然存在许多问题。一些模型虽然能生成流畅的解释,但这些解释却往往较为空洞,个性化程度低,缺乏与输入的推荐结果的相关性。更进一步的,通过初步的实验,本文发现这些问题主要是由于以下三方面问题造成的:(1)输入的用户和商品的向量表征质量较差,模型无法有效建模用户和商品中所蕴含的信息,且输入的非自然语言表征的用户和商品表征难以直接被语言模型利用。(2)模型在生成解释时往往忽略了作为输入的推荐结果,而过于依赖语言模型内部学到的先验知识,这导致输入推荐结果对生成解释的可控性差,生成的解释与给定的推荐结果相关性低。(3)由于数据中缺乏对用户和商品的特征描述,模型难以生成含有明确用户偏好和商品属性的解释。尽管用户和商品对应的隐变量中含有解释因子可以提供用户和商品的特征描述,但这些解释因子高度耦合,无法被解码器有效利用。为了解决上述问题,本文做了如下主要工作:1.基于多粒度变分自编码器的推荐解释生成。为了解决输入表征质量差,不易被语言模型利用的问题,本文提出了一个多粒度的条件变分自编码器。基于多粒度变分自编码器的文本生成模型有利于不同表征空间的表征进行相互的转换,从而减小输入与输出之间的表征差异所带来的影响。2.基于对比学习的用户商品条件增强。对于条件变分自编码器中的条件信号,本文使用对比学习来增强其表征,使其能够精确的表达不同用户的不同偏好和不同商品的不同属性,从而精确的指导解码器进行解释生成,促使模型根据不同的用户和商品生成个性化的解释。3.基于隐因子解耦的解释因子识别。尽管使用变分自编码器将输入的用户和商品编码后得到的隐变量中含有解释因子,但这些解释因子高度耦合,导致解码器难以有效利用这些输入。为了解决这个问题,本文提出利用隐变量解耦的方式来识别潜在的商品属性和用户偏好。本文各章节中的贡献点均设置了充足的实验并进行了相关分析,从而有效验证了本文提出方法的有效性和合理性,进一步推动了相关研究的发展。
基于变分推理的用户偏好对话式推荐系统研究
这是一篇关于对话式推荐,变分推断,用户偏好追踪,任务型对话系统的论文, 主要内容为目前,推荐系统已成为信息寻求过程中不可或缺的工具。对话式推荐系统是推荐系统的重要分支,该系统能够通过与用户对话的方式,引导用户表达自己的需求,帮助系统理解用户的偏好并做出正确的推荐。在对话式推荐系统中,系统和用户动态地进行通信与交互,这一模式能够更加明确的获取用户偏好。通常情况下,对话式推荐系统通过相对简单直接的方式与用户交互并做出推荐,即系统在对话中不断显式地询问用户关于物品属性的偏好,然后决定推荐哪些物品。另外,系统常常使用话题追踪来提供更加自然流畅的回复,然而,仅仅追踪话题不足以识别用户在对话过程中所表现出的真实偏好。本文解决了在对话式推荐系统中准确识别和追踪用户偏好的问题。在解决这一问题的过程中,主要面临以下三个挑战:(1)一段持续进行的对话中仅仅包含用户的短期回复反馈;(2)用户偏好是一类无标注数据,目前没有标注用户偏好的数据集;(3)对话中提及的物品和话题之间可能存在着复杂的语义关联。为应对以上三个挑战,本文提出了一种端到端的模型来完成对话式推荐系统中的任务。具体来讲,本文将用户偏好分为长期偏好和短期偏好并将其建模为两个相互独立的隐变量,这两个隐变量都是关于话题的概率分布,为求解这两个隐变量,本文使用了随机梯度变分贝叶斯估计来不断优化Evidence Lower Bound的下界。接下来,本文使用策略网络来完成以下功能:如果系统需要与用户沟通以进一步明晰用户需求,那么策略网络生成一个话题,系统回复就围绕这个话题产生;如果系统希望直接向用户做出推荐,那么策略网络生成推荐物品。为提升策略网络的效果,根据对话中提取的话题线,本文在异构知识图谱上进行路径推理,这一操作有助于生成更加连贯的话题和更加准确的推荐结果。本文在两个广泛使用的基准数据集上进行了充分的实验,实验结果表明,本文提出的方法在客观评价指标和主观评价指标上均优于最先进的基线模型。
自编码器在推荐系统中的应用研究
这是一篇关于推荐系统,评分预测,自编码器,图自编码器,变分推断,变分自编码器的论文, 主要内容为自编码器模型是机器学习领域内的一类重要模型,被广泛应用于多个领域并且展现出了惊人的效果。本文主要聚焦于几种适用于推荐系统的自编码器模型:经典自编码器、图自编码器和变分自编码器。针对个性化推荐系统的应用需求,本文对这三类自编码器模型进行改造并与其他推荐技术相结合,致力于提升现有推荐系统的性能。本文的主要研究工作和创新总结如下:(1)根据图自编码器的结构特点,提出了一种与社交影响力模型相结合的基于图自编码器评分预测方法。图自编码器对图结构中的消息传递模式有很好的特征抽取能力。该方法通过构建用户-项目的二分图,将评分预测任务转为链路预测问题,并合理的与全局影响力建模相结合,此外,本文也对模型的可解释性进行了分析。本文在公开数据集上对所提出的方法进行了广泛的实验,实验结果显示,本文提出的预测方法明显优于现有相关方法。(2)将经典自编码器的压缩编码范式应用于金融领域,提出了一种轻量级的非营利性众筹项目推荐框架。不同于现有的旨在提高投资回报率的推荐方法,该推荐框架致力于提高公益性众筹项目的投资成交率。实验表明基于该框架的推荐方法的预测准确率达到了该领域内的最前沿的性能。(3)对变分自编码器的隐空间结构进行了研究,提出了一种平衡编码器和解码器的混合推荐模型。首先,对于变分自编码器类推荐模型在训练优化过程中存在的后验崩溃问题,究其原因为优化不佳的编码器和表征能力太强的解码器之间的不匹配问题,即从数据流形到参数化的图之间映射不佳之问题,从而使得它们之间转换图的学习变得困难。针对这一问题,本文对编码器的隐空间进行改造,提出了能有效平衡编码器和解码器的推荐模型。实验结果表明,该方案能有效缓解后验崩溃问题。
面向黑盒推荐系统的推荐解释生成
这是一篇关于自然语言处理,变分推断,可解释性,推荐系统的论文, 主要内容为近年来,与推荐解释生成相关的模型方法层出不穷。其中,后处理式的推荐解释生成方法由于可以为任意复杂的推荐系统生成解释,而不必关心模型的内部实现机制,因而得到了越来越广泛的关注。后处理式的推荐解释生成主要分为基于模板生成和基于自然语言生成生成两种,基于模板的方法通过在预先手工定义的模板中填入关键词来完成解释的生成。尽管通过这种方法得到的解释质量较为稳定,但这种方式缺乏可扩展性,生成句子的多样性的较低,很难满足现实中众多的要求。而基于自然语言生成的方法通过在数据中自主的学习新语句并生成解释,因而有较高扩展性,且生成解释的多样性显著提高,因此受到了越来越多的关注。然而,本文发现现有的基于自然语言生成的方法尽管能在一些情况下生成有效的解释,却仍然存在许多问题。一些模型虽然能生成流畅的解释,但这些解释却往往较为空洞,个性化程度低,缺乏与输入的推荐结果的相关性。更进一步的,通过初步的实验,本文发现这些问题主要是由于以下三方面问题造成的:(1)输入的用户和商品的向量表征质量较差,模型无法有效建模用户和商品中所蕴含的信息,且输入的非自然语言表征的用户和商品表征难以直接被语言模型利用。(2)模型在生成解释时往往忽略了作为输入的推荐结果,而过于依赖语言模型内部学到的先验知识,这导致输入推荐结果对生成解释的可控性差,生成的解释与给定的推荐结果相关性低。(3)由于数据中缺乏对用户和商品的特征描述,模型难以生成含有明确用户偏好和商品属性的解释。尽管用户和商品对应的隐变量中含有解释因子可以提供用户和商品的特征描述,但这些解释因子高度耦合,无法被解码器有效利用。为了解决上述问题,本文做了如下主要工作:1.基于多粒度变分自编码器的推荐解释生成。为了解决输入表征质量差,不易被语言模型利用的问题,本文提出了一个多粒度的条件变分自编码器。基于多粒度变分自编码器的文本生成模型有利于不同表征空间的表征进行相互的转换,从而减小输入与输出之间的表征差异所带来的影响。2.基于对比学习的用户商品条件增强。对于条件变分自编码器中的条件信号,本文使用对比学习来增强其表征,使其能够精确的表达不同用户的不同偏好和不同商品的不同属性,从而精确的指导解码器进行解释生成,促使模型根据不同的用户和商品生成个性化的解释。3.基于隐因子解耦的解释因子识别。尽管使用变分自编码器将输入的用户和商品编码后得到的隐变量中含有解释因子,但这些解释因子高度耦合,导致解码器难以有效利用这些输入。为了解决这个问题,本文提出利用隐变量解耦的方式来识别潜在的商品属性和用户偏好。本文各章节中的贡献点均设置了充足的实验并进行了相关分析,从而有效验证了本文提出方法的有效性和合理性,进一步推动了相关研究的发展。
面向黑盒推荐系统的推荐解释生成
这是一篇关于自然语言处理,变分推断,可解释性,推荐系统的论文, 主要内容为近年来,与推荐解释生成相关的模型方法层出不穷。其中,后处理式的推荐解释生成方法由于可以为任意复杂的推荐系统生成解释,而不必关心模型的内部实现机制,因而得到了越来越广泛的关注。后处理式的推荐解释生成主要分为基于模板生成和基于自然语言生成生成两种,基于模板的方法通过在预先手工定义的模板中填入关键词来完成解释的生成。尽管通过这种方法得到的解释质量较为稳定,但这种方式缺乏可扩展性,生成句子的多样性的较低,很难满足现实中众多的要求。而基于自然语言生成的方法通过在数据中自主的学习新语句并生成解释,因而有较高扩展性,且生成解释的多样性显著提高,因此受到了越来越多的关注。然而,本文发现现有的基于自然语言生成的方法尽管能在一些情况下生成有效的解释,却仍然存在许多问题。一些模型虽然能生成流畅的解释,但这些解释却往往较为空洞,个性化程度低,缺乏与输入的推荐结果的相关性。更进一步的,通过初步的实验,本文发现这些问题主要是由于以下三方面问题造成的:(1)输入的用户和商品的向量表征质量较差,模型无法有效建模用户和商品中所蕴含的信息,且输入的非自然语言表征的用户和商品表征难以直接被语言模型利用。(2)模型在生成解释时往往忽略了作为输入的推荐结果,而过于依赖语言模型内部学到的先验知识,这导致输入推荐结果对生成解释的可控性差,生成的解释与给定的推荐结果相关性低。(3)由于数据中缺乏对用户和商品的特征描述,模型难以生成含有明确用户偏好和商品属性的解释。尽管用户和商品对应的隐变量中含有解释因子可以提供用户和商品的特征描述,但这些解释因子高度耦合,无法被解码器有效利用。为了解决上述问题,本文做了如下主要工作:1.基于多粒度变分自编码器的推荐解释生成。为了解决输入表征质量差,不易被语言模型利用的问题,本文提出了一个多粒度的条件变分自编码器。基于多粒度变分自编码器的文本生成模型有利于不同表征空间的表征进行相互的转换,从而减小输入与输出之间的表征差异所带来的影响。2.基于对比学习的用户商品条件增强。对于条件变分自编码器中的条件信号,本文使用对比学习来增强其表征,使其能够精确的表达不同用户的不同偏好和不同商品的不同属性,从而精确的指导解码器进行解释生成,促使模型根据不同的用户和商品生成个性化的解释。3.基于隐因子解耦的解释因子识别。尽管使用变分自编码器将输入的用户和商品编码后得到的隐变量中含有解释因子,但这些解释因子高度耦合,导致解码器难以有效利用这些输入。为了解决这个问题,本文提出利用隐变量解耦的方式来识别潜在的商品属性和用户偏好。本文各章节中的贡献点均设置了充足的实验并进行了相关分析,从而有效验证了本文提出方法的有效性和合理性,进一步推动了相关研究的发展。
基于对抗训练的推荐算法研究
这是一篇关于鲁棒性推荐,稀疏反馈,变分推断,数据增强,对抗训练,端到端训练的论文, 主要内容为鲁棒性和数据稀疏问题已经成为推荐系统研究中的两大热点问题。鲁棒性推荐旨在从有噪声的用户数据中捕捉用户的真实偏好,提供准确且稳定的个性化推荐。数据稀疏问题是指,相对于推荐系统的海量用户和商品,每个用户交互过的物品仅仅是商品总量的很小一部分,这导致依赖于用户历史数据的推荐模型难以准确捕捉用户的个性化偏好。尽管现有工作已经对这两个问题进行了研究,但推荐系统的鲁棒性问题和数据稀疏问题仍未得到很好的解决。现有工作在解决鲁棒性问题时,仍然面临以下两个挑战:第一是个性化降噪,由于用户有不同的行为模式,物品有不同的交互模式,鲁棒性推荐应当能够自适应地对具有不同噪声分布的用户交互数据进行个性化降噪处理,而许多现有方法难以捕捉噪声分布的差异性;第二是多模态偏好,它要求推荐模型应该具有足够的表达能力以捕捉多模态的用户偏好,而不是像许多现有的基于变分自编码器的工作那样,仅以一种分布来近似编码用户偏好的用户嵌入向量的真实后验分布。本文针对鲁棒性推荐的上述挑战,提出了一种基于对偶对抗变分嵌入的鲁棒性推荐模型DAVE,该模型可以自适应地捕捉不同用户或不同物品的个性化噪声和多模态偏好,提高推荐的鲁棒性。本文通过在真实数据集上的大量实验,验证了DAVE的推荐性能和鲁棒性。在仅考虑用户-物品交互数据的情况下,数据增强为缓解稀疏问题提供了一种思路。但现有基于数据增强的推荐方法在处理数据稀疏问题时,仍面临两个挑战:第一是自适应的数据增强,它要求数据增强应该自适应于学习用户个性化偏好的需要,这是因为用户的个性化偏好使得不同用户的数据稀疏性对其个性化偏好学习的影响是不同的,而现有工作为所有用户进行数据增强,其潜在假设是不同用户的数据稀疏性对模型学习用户的个性化偏好有相同的影响;第二是端到端的训练,现有基于数据增强的推荐方法将数据增强模型的学习过程与推荐模型的学习过程分离,这很可能导致数据增强的结果难以使推荐模型具有最优的泛化表现,且这种分阶段的学习过程难以满足自适应数据增强的需求,因此整合数据增强模型的学习与推荐模型的学习于一个端到端的过程中,使数据增强模型和推荐模型具有统一的学习目标,有利于保障数据增强的有效性和自适应性。为了解决上述挑战,本文提出了一种基于对抗生成和门控机制的自适应评分增强模型GRAAG,该模型利用一个专门设计的门控机制,并结合对抗训练和端到端训练,实现了有效的自适应评分增强,因此能够根据不同用户的个性化偏好学习需要而个性化地处理不同用户的评分稀疏问题。本文通过在真实数据集上的大量实验验证了GRAAG的推荐准确性和个性化地处理数据稀疏问题的自适应性。
低资源语料库下基于变分推理的医学对话生成研究
这是一篇关于医疗对话生成,半监督学习,变分推断的论文, 主要内容为随着生产水平的提高,人们的生活水平有了很大的提升,健康越来越受到大众的关注,人们对于及时准确的医疗诊断需求愈发的强烈。然而,中国人口基数庞大,现阶段医疗环境存在诸多问题,其中最严重的是许多医疗岗位存在巨大人员缺口,且由于区域发展差异,我国医疗资源分布极度不均衡。在人们的急切的医疗需求下,当前的医疗在线诊疗网站如雨后春笋般涌现,如春雨医生,好大夫,拇指医生等。很多的在线咨询医疗诊断对话在匿名化过后被公开,在互联网可以很方便地获取。同时因为众多研究人员的努力以及实体,关系抽取技术的发展,大量的常识知识和医疗知识易于获得。通过医疗知识图谱中的疾病症状之间的关系,即使是不具备医学背景的人也能根据症状大致了解病情。大规模的开放医疗知识对于提升辅助诊断系统的诊断和开药等推理能力有较大的帮助作用。同时因为大规模的医疗对话数据与当前的深度神经网络的发展,使得通过数据驱动的方式结合外部医疗知识构造一个辅助诊断医疗对话系统成为可能。医疗对话生成旨在提供自然和准确的回复,以帮助医生有效地获得诊断和治疗建议,达到辅助诊断的目的。在医学对话中,有两个关键特征与回复生成相关:患者状态(如症状、药物治疗)和医师动作(如诊断、治疗)。在医疗场景中,由于标注成本高和隐私保护的要求,通常无法获得大规模的人工标注。因此,当前的医疗对话生成方法通常不会显式地考虑患者状态和医师动作,而是专注于隐式表示。本文提出了一种端到端的变分推理方法来进行医疗对话生成。为了能够处理只有少量标注的数据集,本文将患者状态和医师动作作为先验分布为类别分布(Categorical Distribution)的隐变量(Latent Variable),分别用于显式的患者状态跟踪和医师策略学习,这使得模型可以使用部分标注的数据进行半监督学习。为了求解存在隐变量的问题,本文定义了一种变分贝叶斯生成方法来近似患者状态和医师动作的后验分布,并且使用高效的随机梯度变分贝叶斯估计方法来优化Evidence lower bound的下界。并且,对于模型的参数优化过程,本文提出了一种两阶段级联推断(2-stage collapsed inference)方法以减少模型训练期间的偏差。为了增强模型的推理(Reasoning)能力,本文提出了一种由动作分类器和对偶推理检测器、即上下文推理检测器和图推理检测器组成的医师策略网络。模型在测试阶段的输出的位于知识图谱上的显式推理路径,患者状态和医师动作的显式文本序列有助于提供更具可解释性的对话回复生成结果。本文对从医疗咨询平台收集的三个数据集进行了实验。实验结果表明本文所提出的方法在客观和主观评价指标方面均优于最先进的基线模型。本文的实验还表明了文中提出的半监督推理方法实现了与最先进的完全监督的医师策略学习基线相当的性能。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设导航 ，原文地址：https://bishedaima.com/lunwen/56314.html
