基于双编码器的个性化会话推荐系统研究

这是一篇关于深度学习,会话推荐,门控图神经网络,编码器-解码器的论文, 主要内容为大数据和深度学习技术的兴起,使得智能推荐系统已经深入到了人们生活的方方面面。当用户在访问网站时,网站后台的服务器通常会以会话(Session)的形式记录用户在一段时间内的访问记录。针对会话记录构建的推荐系统通常被称为会话推荐系统(Session-based Recommendation System),是推荐系统的一个分支。会话推荐的目的是根据用户此前的点击序列预测其下一步可能感兴趣的物品,并推荐给用户访问,从而为用户提供更好的服务。以往的会话推荐系统通常会将每一个会话看作是一个序列,然后采用基于循环神经网络的模型对会话进行建模,因此此类模型通常无法完备的捕捉海量物品之间复杂的转移特性。而且此前的研究通常认为所有的会话都是匿名的,因此将每个会话都看作是独立的,从而忽略了不同用户的不同兴趣对推荐结果带来的影响。基于以上两点考虑,提出了基于双编码器的个性化会话推荐模型(Personalizing Session-based Recommendation with Dual Encoders,PSRDE),该模型采用了编码器-解码器结构,编码器部分包含有会话编码器和用户编码器,分别对当前会话记录和当前用户的历史会话记录进行建模,从而分别得到当前会话目的的特征表示和当前用户偏好的特征表示。在解码器中,将编码器输出的多个特征融合得到最终的特征向量,然后通过计算即可得到推荐物品列表。PSRDE模型在解决会话推荐问题时,使用了能够提取更多信息的门控图神经网络对会话进行建模,而且在建模时不仅使用了当前的会话特征,还考虑了用户的个人偏好特征,因此该模型能实现更好的推荐效果。为了验证PSRDE模型的有效性,使用两个真实的数据集进行一系列对比实验,其中包括PSRDE与其他基线算法模型的对比实验,以及PSRDE在不同参数条件下的对比实验,实验结果表明PSRDE模型的推荐效果相比于其他模型有了一定的提升,从而验证了PSRDE模型的有效性。

基于时空深度学习的快递员揽件路线推荐方法研究

这是一篇关于揽件路径推荐,时空深度学习,时空图卷积,注意力,编码器-解码器的论文, 主要内容为近年来快递行业的智能化水平获得飞速提高,目前已基本实现了揽寄服务便捷化、生产流程信息化、服务能力多元化和内部作业自动化。但随着包裹数量的激增,现有的智能化水平依然无法解决现实中的许多问题,其中一项亟待解决的问题是合理规划快递员的揽件路线。智能揽件路线推荐系统的建设,既可以使快递公司达到降本增效的效果,也可以给用户带来更好的体验。通过对快递行业进行现状调研和数据分析后发现,目前在快递员揽件路径规划场景中,主要存在以下三个问题与挑战:(1)影响因素复杂。区域特征、交通流量、道路拥堵情况、天气等因素都有可能成为影响快递员揽件路线的因素。(2)多元时空约束复杂。揽件过程中要同时考虑包裹的空间地理位置、快递员的空间地理位置以及包裹最晚揽收时间等约束。(3)包裹列表动态变化。由于快递员揽件过程中随时都会增加新的包裹揽收任务,这样在训练神经网络模型时可能会造成混淆,不利于优质路线的生成。本文针对这些问题,开展了快递员揽件路径的推荐方法研究。首先,提出一种基于时空深度网络的快递员揽件路线推荐模型。通过快递员历史行为特征提取模块,从经验丰富的快递员身上学习揽件路线决策经验。由于经验丰富的快递员在揽件时会同时考虑道路拥堵情况、交通流量、区域特征等多重复杂影响因素。所以通过该模型学习经验丰富快递员揽件时的决策经验,可以间接地将多重影响因素考虑在内。通过实验证明,该模型效果使得最终的揽件路线更为合理,所消耗的揽件成本更小。其次,考虑揽件过程的时空复杂相关性问题,进一步提出了基于时空图卷积的揽件路线推荐模型。由于快递员的揽件数据属于时空数据,不仅要考虑到时间相关性、空间相关性,也要考虑到数据之间复杂的时空相关性。因此,该模型使用图卷积神经网络捕获揽件路径中各个节点之间的时空相关性。实验证明,此模型采用多层图卷积操作来捕获数据中的多元时空约束信息,通过聚合更多信息生成的揽件路线效果更优。最后,在真实应用场景产生的快递员揽件数据集上进行了大量实验,实验结果验证了本文提出的模型的有效性。由于真实揽件数据中包含快递员的自身揽件经验、交通路段的复杂性、数据中的多元时空约束等诸多信息,而以往研究中使用的自动生成的数据集并不能很好地体现这些复杂的影响因素,所以本文提出的解决思路和实验验证对于快递企业来说具有更大的实用价值。

基于特征增强的医学影像报告自动生成的研究与应用

这是一篇关于医学影像报告生成,编码器-解码器,图像文本生成,深度学习的论文, 主要内容为在临床诊断中,放射科医生撰写影像报告,以供其他医生选择最佳诊疗方法。然而医生工作量大,易导致漏诊和误诊,延误病人的治疗。基于深度学习的影像报告生成方法可显著减轻医生负担,提高临床效率。医学影像报告包含专业术语和长段落内容,且由于医学影像结构相似,异常区域的视觉特征不易捕捉。现有方法致力于为病变区域生成文本描述,但实验表明未充分利用医学影像间的视觉特征差异和医学报告的语义特征。基于此,本文开展了基于特征增强的医学影像报告自动生成模型研究,设计并开发了医学影像报告生成系统。其主要工作与贡献概括如下:(1)为了捕获输入图像的异常区域特征并为其生成准确的文本描述,提出基于多级特征差异的医学影像报告自动生成方法。在求取输入图像和正常图像间特征差异时,不仅关注高级视觉特征的差异,还考虑低级视觉特征的差异,使模型更加聚焦异常区域的视觉特征。在生成单词的过程中为了防止模型平等对待视觉词和非视觉词的生成,提出自适应注意力模块以提升生成报告的精度。在IU-Xray和MIMIC-CXR-JPG数据集上的实验结果表明提出方法的有效性。(2)为了避免上述生成报告方法仅从单词层面学习而忽略高级语义信息,提出基于多模态数据特征的医学影像报告自动生成方法。在报告生成分支的基础上设计图像文本匹配分支,通过相互耦合两个分支,将视觉特征和文本特征相结合,以提高报告生成的准确性。为了缓解数据集中存在的数据偏差使模型倾向于生成合理但缺乏异常描述的一般性报告,提出渐进式学习框架,使模型从简单样本开始学起,逐步迭代地学习困难样本。在IU-Xray和MIMIC-CXR-JPG数据集上提出方法比上述方法在所有评价指标上均获得了提升,且优于目前的主流方法,证明了提出方法的有效性。(3)在改进模型的基础上开发了一个医学影像报告自动生成系统。基于VUE框架进行前端页面的开发,使用Spring Boot进行后端业务逻辑的实现,通过URL地址来访问部署在服务器上的深度学习模型。系统对一些常用的功能以及管理模块进行了实现,该系统能够帮助医生自动撰写医学影像报告,缓解医生的工作负担。此外,还能方便医生对病人进行健康管理。

基于特征增强的医学影像报告自动生成的研究与应用

这是一篇关于医学影像报告生成,编码器-解码器,图像文本生成,深度学习的论文, 主要内容为在临床诊断中,放射科医生撰写影像报告,以供其他医生选择最佳诊疗方法。然而医生工作量大,易导致漏诊和误诊,延误病人的治疗。基于深度学习的影像报告生成方法可显著减轻医生负担,提高临床效率。医学影像报告包含专业术语和长段落内容,且由于医学影像结构相似,异常区域的视觉特征不易捕捉。现有方法致力于为病变区域生成文本描述,但实验表明未充分利用医学影像间的视觉特征差异和医学报告的语义特征。基于此,本文开展了基于特征增强的医学影像报告自动生成模型研究,设计并开发了医学影像报告生成系统。其主要工作与贡献概括如下:(1)为了捕获输入图像的异常区域特征并为其生成准确的文本描述,提出基于多级特征差异的医学影像报告自动生成方法。在求取输入图像和正常图像间特征差异时,不仅关注高级视觉特征的差异,还考虑低级视觉特征的差异,使模型更加聚焦异常区域的视觉特征。在生成单词的过程中为了防止模型平等对待视觉词和非视觉词的生成,提出自适应注意力模块以提升生成报告的精度。在IU-Xray和MIMIC-CXR-JPG数据集上的实验结果表明提出方法的有效性。(2)为了避免上述生成报告方法仅从单词层面学习而忽略高级语义信息,提出基于多模态数据特征的医学影像报告自动生成方法。在报告生成分支的基础上设计图像文本匹配分支,通过相互耦合两个分支,将视觉特征和文本特征相结合,以提高报告生成的准确性。为了缓解数据集中存在的数据偏差使模型倾向于生成合理但缺乏异常描述的一般性报告,提出渐进式学习框架,使模型从简单样本开始学起,逐步迭代地学习困难样本。在IU-Xray和MIMIC-CXR-JPG数据集上提出方法比上述方法在所有评价指标上均获得了提升,且优于目前的主流方法,证明了提出方法的有效性。(3)在改进模型的基础上开发了一个医学影像报告自动生成系统。基于VUE框架进行前端页面的开发,使用Spring Boot进行后端业务逻辑的实现,通过URL地址来访问部署在服务器上的深度学习模型。系统对一些常用的功能以及管理模块进行了实现,该系统能够帮助医生自动撰写医学影像报告,缓解医生的工作负担。此外,还能方便医生对病人进行健康管理。

面向汽车领域的长评论生成系统研究与实现

这是一篇关于长评论生成,编码器-解码器,条件变分自编码,知识图谱的论文, 主要内容为随着互联网技术的普及和发展,互联网已融入生产生活各个方面,在汽车领域,潜在消费者往往会通过互联网了解汽车相关信息。行文流畅、生动形象且富含汽车描述信息的长评论可以提升消费者对汽车的购买欲望,然而手工编写评论所耗费的人力巨大,自动生成汽车评论成为了一项具有发展前景和现实意义的任务。根据以上工业背景,本文研究了基于条件变分自编码的编解码长评论生成模型,改进了长文本生成中语义不连贯、多样性表达匮乏的问题;设计了子句内容规划模块,用高层次的语义信息指导子句的生成内容和子句间的逻辑结构,使得生成的文本语义连贯、逻辑顺畅;划分了潜变量层次,并结合层次化的解码结构,在生成阶段的不同级别注入多样性,同时将多样化束搜索思想引入词语解码器,使得解码器在保障生成文本之间差异性的同时一次生成多条评论。通过与基线模型在汽车数据集上进行对比实验,验证了本文提出的评论生成模型在语句流畅性、多样性方面具有更好的生成效果。由于汽车垂直领域缺少公开数据集,本文使用CRF加Bootstrap的方法进行知识抽取,构建了富含属性、参数等描述信息的汽车领域知识图谱,在评论生成模型的数据准备阶段提供数据支持。基于构建的评论生成模型和知识图谱,本文使用web应用开发技术,设计并实现了面向汽车工业领域的长评论生成系统。包括评论生成、评论发表、图谱扩充、策略推荐等功能。本系统既可以作为运营人员的评论撰写助手,节省人力成本,也可以通过生成的评论引起潜在消费者的购车兴趣。本文最后对长评论生成系统进行了多方面测试,验证了系统的有效性。

面向汽车领域的长评论生成系统研究与实现

这是一篇关于长评论生成,编码器-解码器,条件变分自编码,知识图谱的论文, 主要内容为随着互联网技术的普及和发展,互联网已融入生产生活各个方面,在汽车领域,潜在消费者往往会通过互联网了解汽车相关信息。行文流畅、生动形象且富含汽车描述信息的长评论可以提升消费者对汽车的购买欲望,然而手工编写评论所耗费的人力巨大,自动生成汽车评论成为了一项具有发展前景和现实意义的任务。根据以上工业背景,本文研究了基于条件变分自编码的编解码长评论生成模型,改进了长文本生成中语义不连贯、多样性表达匮乏的问题;设计了子句内容规划模块,用高层次的语义信息指导子句的生成内容和子句间的逻辑结构,使得生成的文本语义连贯、逻辑顺畅;划分了潜变量层次,并结合层次化的解码结构,在生成阶段的不同级别注入多样性,同时将多样化束搜索思想引入词语解码器,使得解码器在保障生成文本之间差异性的同时一次生成多条评论。通过与基线模型在汽车数据集上进行对比实验,验证了本文提出的评论生成模型在语句流畅性、多样性方面具有更好的生成效果。由于汽车垂直领域缺少公开数据集,本文使用CRF加Bootstrap的方法进行知识抽取,构建了富含属性、参数等描述信息的汽车领域知识图谱,在评论生成模型的数据准备阶段提供数据支持。基于构建的评论生成模型和知识图谱,本文使用web应用开发技术,设计并实现了面向汽车工业领域的长评论生成系统。包括评论生成、评论发表、图谱扩充、策略推荐等功能。本系统既可以作为运营人员的评论撰写助手,节省人力成本,也可以通过生成的评论引起潜在消费者的购车兴趣。本文最后对长评论生成系统进行了多方面测试,验证了系统的有效性。

基于特征增强的医学影像报告自动生成的研究与应用

这是一篇关于医学影像报告生成,编码器-解码器,图像文本生成,深度学习的论文, 主要内容为在临床诊断中,放射科医生撰写影像报告,以供其他医生选择最佳诊疗方法。然而医生工作量大,易导致漏诊和误诊,延误病人的治疗。基于深度学习的影像报告生成方法可显著减轻医生负担,提高临床效率。医学影像报告包含专业术语和长段落内容,且由于医学影像结构相似,异常区域的视觉特征不易捕捉。现有方法致力于为病变区域生成文本描述,但实验表明未充分利用医学影像间的视觉特征差异和医学报告的语义特征。基于此,本文开展了基于特征增强的医学影像报告自动生成模型研究,设计并开发了医学影像报告生成系统。其主要工作与贡献概括如下:(1)为了捕获输入图像的异常区域特征并为其生成准确的文本描述,提出基于多级特征差异的医学影像报告自动生成方法。在求取输入图像和正常图像间特征差异时,不仅关注高级视觉特征的差异,还考虑低级视觉特征的差异,使模型更加聚焦异常区域的视觉特征。在生成单词的过程中为了防止模型平等对待视觉词和非视觉词的生成,提出自适应注意力模块以提升生成报告的精度。在IU-Xray和MIMIC-CXR-JPG数据集上的实验结果表明提出方法的有效性。(2)为了避免上述生成报告方法仅从单词层面学习而忽略高级语义信息,提出基于多模态数据特征的医学影像报告自动生成方法。在报告生成分支的基础上设计图像文本匹配分支,通过相互耦合两个分支,将视觉特征和文本特征相结合,以提高报告生成的准确性。为了缓解数据集中存在的数据偏差使模型倾向于生成合理但缺乏异常描述的一般性报告,提出渐进式学习框架,使模型从简单样本开始学起,逐步迭代地学习困难样本。在IU-Xray和MIMIC-CXR-JPG数据集上提出方法比上述方法在所有评价指标上均获得了提升,且优于目前的主流方法,证明了提出方法的有效性。(3)在改进模型的基础上开发了一个医学影像报告自动生成系统。基于VUE框架进行前端页面的开发,使用Spring Boot进行后端业务逻辑的实现,通过URL地址来访问部署在服务器上的深度学习模型。系统对一些常用的功能以及管理模块进行了实现,该系统能够帮助医生自动撰写医学影像报告,缓解医生的工作负担。此外,还能方便医生对病人进行健康管理。

基于时空深度学习的快递员揽件路线推荐方法研究

这是一篇关于揽件路径推荐,时空深度学习,时空图卷积,注意力,编码器-解码器的论文, 主要内容为近年来快递行业的智能化水平获得飞速提高,目前已基本实现了揽寄服务便捷化、生产流程信息化、服务能力多元化和内部作业自动化。但随着包裹数量的激增,现有的智能化水平依然无法解决现实中的许多问题,其中一项亟待解决的问题是合理规划快递员的揽件路线。智能揽件路线推荐系统的建设,既可以使快递公司达到降本增效的效果,也可以给用户带来更好的体验。通过对快递行业进行现状调研和数据分析后发现,目前在快递员揽件路径规划场景中,主要存在以下三个问题与挑战:(1)影响因素复杂。区域特征、交通流量、道路拥堵情况、天气等因素都有可能成为影响快递员揽件路线的因素。(2)多元时空约束复杂。揽件过程中要同时考虑包裹的空间地理位置、快递员的空间地理位置以及包裹最晚揽收时间等约束。(3)包裹列表动态变化。由于快递员揽件过程中随时都会增加新的包裹揽收任务,这样在训练神经网络模型时可能会造成混淆,不利于优质路线的生成。本文针对这些问题,开展了快递员揽件路径的推荐方法研究。首先,提出一种基于时空深度网络的快递员揽件路线推荐模型。通过快递员历史行为特征提取模块,从经验丰富的快递员身上学习揽件路线决策经验。由于经验丰富的快递员在揽件时会同时考虑道路拥堵情况、交通流量、区域特征等多重复杂影响因素。所以通过该模型学习经验丰富快递员揽件时的决策经验,可以间接地将多重影响因素考虑在内。通过实验证明,该模型效果使得最终的揽件路线更为合理,所消耗的揽件成本更小。其次,考虑揽件过程的时空复杂相关性问题,进一步提出了基于时空图卷积的揽件路线推荐模型。由于快递员的揽件数据属于时空数据,不仅要考虑到时间相关性、空间相关性,也要考虑到数据之间复杂的时空相关性。因此,该模型使用图卷积神经网络捕获揽件路径中各个节点之间的时空相关性。实验证明,此模型采用多层图卷积操作来捕获数据中的多元时空约束信息,通过聚合更多信息生成的揽件路线效果更优。最后,在真实应用场景产生的快递员揽件数据集上进行了大量实验,实验结果验证了本文提出的模型的有效性。由于真实揽件数据中包含快递员的自身揽件经验、交通路段的复杂性、数据中的多元时空约束等诸多信息,而以往研究中使用的自动生成的数据集并不能很好地体现这些复杂的影响因素,所以本文提出的解决思路和实验验证对于快递企业来说具有更大的实用价值。

基于特征增强的医学影像报告自动生成的研究与应用

这是一篇关于医学影像报告生成,编码器-解码器,图像文本生成,深度学习的论文, 主要内容为在临床诊断中,放射科医生撰写影像报告,以供其他医生选择最佳诊疗方法。然而医生工作量大,易导致漏诊和误诊,延误病人的治疗。基于深度学习的影像报告生成方法可显著减轻医生负担,提高临床效率。医学影像报告包含专业术语和长段落内容,且由于医学影像结构相似,异常区域的视觉特征不易捕捉。现有方法致力于为病变区域生成文本描述,但实验表明未充分利用医学影像间的视觉特征差异和医学报告的语义特征。基于此,本文开展了基于特征增强的医学影像报告自动生成模型研究,设计并开发了医学影像报告生成系统。其主要工作与贡献概括如下:(1)为了捕获输入图像的异常区域特征并为其生成准确的文本描述,提出基于多级特征差异的医学影像报告自动生成方法。在求取输入图像和正常图像间特征差异时,不仅关注高级视觉特征的差异,还考虑低级视觉特征的差异,使模型更加聚焦异常区域的视觉特征。在生成单词的过程中为了防止模型平等对待视觉词和非视觉词的生成,提出自适应注意力模块以提升生成报告的精度。在IU-Xray和MIMIC-CXR-JPG数据集上的实验结果表明提出方法的有效性。(2)为了避免上述生成报告方法仅从单词层面学习而忽略高级语义信息,提出基于多模态数据特征的医学影像报告自动生成方法。在报告生成分支的基础上设计图像文本匹配分支,通过相互耦合两个分支,将视觉特征和文本特征相结合,以提高报告生成的准确性。为了缓解数据集中存在的数据偏差使模型倾向于生成合理但缺乏异常描述的一般性报告,提出渐进式学习框架,使模型从简单样本开始学起,逐步迭代地学习困难样本。在IU-Xray和MIMIC-CXR-JPG数据集上提出方法比上述方法在所有评价指标上均获得了提升,且优于目前的主流方法,证明了提出方法的有效性。(3)在改进模型的基础上开发了一个医学影像报告自动生成系统。基于VUE框架进行前端页面的开发,使用Spring Boot进行后端业务逻辑的实现,通过URL地址来访问部署在服务器上的深度学习模型。系统对一些常用的功能以及管理模块进行了实现,该系统能够帮助医生自动撰写医学影像报告,缓解医生的工作负担。此外,还能方便医生对病人进行健康管理。

基于双编码器的个性化会话推荐系统研究

这是一篇关于深度学习,会话推荐,门控图神经网络,编码器-解码器的论文, 主要内容为大数据和深度学习技术的兴起,使得智能推荐系统已经深入到了人们生活的方方面面。当用户在访问网站时,网站后台的服务器通常会以会话(Session)的形式记录用户在一段时间内的访问记录。针对会话记录构建的推荐系统通常被称为会话推荐系统(Session-based Recommendation System),是推荐系统的一个分支。会话推荐的目的是根据用户此前的点击序列预测其下一步可能感兴趣的物品,并推荐给用户访问,从而为用户提供更好的服务。以往的会话推荐系统通常会将每一个会话看作是一个序列,然后采用基于循环神经网络的模型对会话进行建模,因此此类模型通常无法完备的捕捉海量物品之间复杂的转移特性。而且此前的研究通常认为所有的会话都是匿名的,因此将每个会话都看作是独立的,从而忽略了不同用户的不同兴趣对推荐结果带来的影响。基于以上两点考虑,提出了基于双编码器的个性化会话推荐模型(Personalizing Session-based Recommendation with Dual Encoders,PSRDE),该模型采用了编码器-解码器结构,编码器部分包含有会话编码器和用户编码器,分别对当前会话记录和当前用户的历史会话记录进行建模,从而分别得到当前会话目的的特征表示和当前用户偏好的特征表示。在解码器中,将编码器输出的多个特征融合得到最终的特征向量,然后通过计算即可得到推荐物品列表。PSRDE模型在解决会话推荐问题时,使用了能够提取更多信息的门控图神经网络对会话进行建模,而且在建模时不仅使用了当前的会话特征,还考虑了用户的个人偏好特征,因此该模型能实现更好的推荐效果。为了验证PSRDE模型的有效性,使用两个真实的数据集进行一系列对比实验,其中包括PSRDE与其他基线算法模型的对比实验,以及PSRDE在不同参数条件下的对比实验,实验结果表明PSRDE模型的推荐效果相比于其他模型有了一定的提升,从而验证了PSRDE模型的有效性。