基于序列特征提取的推荐算法研究
这是一篇关于注意力机制,信息熵,残差,强化学习算法,静态序列化推荐,动态序列化推荐的论文, 主要内容为近年来,序列化推荐系统由于其结合时序信息能够更好地获取用户的长期或短期的兴趣偏好的特点,超越了传统的基于协同过滤的推荐方法,被工业界和学术界广泛地研究和应用。总的来说,根据推荐系统是否与用户产生交互,序列化推荐系统可以分为静态和动态两种:1)静态序列化推荐系统集中于挖掘用户的历史交互信息来构建用户兴趣,更多的是面向短期的推荐;2)动态序列化推荐系统不仅要利用历史交互信息,还要建模用户在推荐过程中的反馈信息,用于实时跟踪用户的兴趣变化,更多的是面向长期的推荐。随着深度学习的发展,学术界和工业界都致力于将深度学习应用于更复杂的序列化推荐任务中,以提升其预测精度。然而,现有的深度序列推荐模型还存在着一些难点和不足:缺乏对用户表现形式的精心设计;忽略对无效或噪声信息的过滤;对用户动态兴趣建模不准确。因此,本文的研究致力于构建更有效的静态/动态序列化推荐模型,主要工作包括:(1)引入信息熵,提出了一种基于熵正则化的自注意力静态序列推荐模型。对不同物品拥有更明显的区分度,能更好地捕捉真正表征用户兴趣特征的物品,减少了噪声物品对构建用户兴趣的不利影响。(2)应用新的残差连接方式,提出了一种基于残差注意力机制的静态序列推荐模型。弥补了传统基于自注意力机制的静态序列推荐模型中训练不稳定、对参数敏感、必须采用预热学习率策略等缺点。(3)改进传统双队列建模方式,提出了一种基于正负反馈的单队列用户状态建模方式。能更清晰地表示用户的喜好信息,对用户的兴趣状态进行更精确的动态建模,减少了模型所需的参数量。(4)引入自注意力机制,提出了一种基于自注意力机制的深度强化动态序列推荐模型。能更好地获取用户的兴趣表征特征,动态地捕捉用户的兴趣变化,较好地解决了传统推荐中的用户冷启动问题。(5)在静态、动态两个序列化推荐场景下,通过大量实验,在不同的离线数据集中,探究和验证所提出不同方法的有效性。对序列化推荐系统中影响用户兴趣建模的因素提供了不同角度的讨论和验证。
基于深度学习的个性化推荐系统研究
这是一篇关于时间卷积网络,残差,因果空洞卷积,个性化推荐的论文, 主要内容为随着人工智能技术的快速发展,人们获取信息的方式也发生了显著的变化。在PC互联网时代,用户通过搜索引擎搜集信息,到移动互联网时代,用户主要借助推荐系统来获取信息,这对推荐算法提出了很高的要求。但实际中,传统推荐算法往往只适合串行处理日志数据,随着5G和云计算时代的到来,海量实时的序列数据产生,没有合适的算法会大大影响推荐效果。因此,对于并行处理序列数据的推荐算法的研究具有重要意义。本文提出一种基于TCN的会话序列推荐模型R-TCN,通过水平和垂直的双向卷积并行处理,敏锐捕获会话短期动态兴趣信息,配合用户长期兴趣信息,完成推荐。实验结果表明,相比其他算法,R-TCN的推荐效果更好,用时更短。主要的研究内容如下:1、通过梳理传统推荐方法和深度学习推荐方法的发展过程,归纳出深度学习推荐方法的通用范式,总结了现有的推荐方法的优点和弊端。2、为了解决现有方法的弊端,本文提出一种卷积序列嵌入推荐模型R-TCN,作为Top-N序列推荐的解决方案。论文首先介绍R-TCN模型架构和其设计思想,接着阐述各大模块的设计细节,然后试验验证模型的实际表现,最终证明基础R-TCN模型的可靠性能。3、通过对基础R-TCN模型的实验分析,我们进一步提出改进的R-TCN模型。为了继续捕捉更加细腻的信息,在基础R-TCN模型架构的基础上,引入双向卷积的策略。最终实验表明,改进的R-TCN模型相比基础R-TCN模型和对照组模型均有全方位的指标提升,该模型一方面有效捕获了用户的一般兴趣和短时兴趣,另一方面精确的捕获了用户的兴趣跳跃行为。综上,本文提出的R-TCN模型是一种优秀的Top-N序列推荐模型。
基于U-Net的医学影像分割技术研究
这是一篇关于医学影像分割,U-Net,残差,注意力机制,循环卷积的论文, 主要内容为医学影像分割是现代医学影像分析的重要基础。深度学习与医学领域的交叉融合旨在辅助医生对医学影像进行人体组织或病灶区域的提取和分割,高效准确地做出医学诊断。因此,利用深度学习的学习能力辅助医生进行医学影像分析,可以节约医生的时间与精力,均衡不同发展区域的医疗资源。如今随着计算机性能的提升和医学数据量的增加,传统方法手工提取图像特征具有一定的局限性,深度学习通过多层神经网络叠加,能够更好地提取图像的局部细节信息和高层语义抽象信息。本文深入研究了基于U-Net的医学影像分割技术,针对U-Net存在的不足提出了两种新的医学影像分割算法,在多个医学影像公共数据集上表现出了良好的性能,并获得了较好的可视化分割结果。本文主要研究工作如下:首先,本文对经典网络U-Net进行改进,提出了基于残差网络和注意力机制的医学影像分割算法RAU-Net,并且在COVID-19肺部感染数据集上验证RAU-Net的性能。由于U-Net网络存在欠分割和特征提取不充分问题,RAU-Net通过在编解码路径使用残差块来增强模型提取特征的能力,进而更加有效的提取病灶区域特征。RAU-Net通过注意力门AG来处理跳过连接的编码特征,使网络模型更加关注COVID-19感染的病灶区域,抑制CT图像中背景区域的特征响应,有效的降低病灶边界模糊的问题。其次,本文对RAU-Net作进一步的改进,基于循环神经网络提出了R2AU-Net,并且在三项医学影像分割任务上验证R2AU-Net的性能。RAU-Net对于COVID-19肺部感染区域分割性能良好,但是忽视了ROI中像素点的相关性,对于某些医学影像的分割结果具有一定的不连贯性。R2AU-Net使用循环残差卷积块进行特征提取,旨在增强模型整合上下文信息的能力。对于不同形式的医学影像,循环残差卷积块有助于提取至关重要的浅层特征,然后由注意力门来聚合浅层细节信息和高层抽象语义信息。最后,针对不同的医学影像,本文分别采取了不同的训练策略。利用随机正则的思想,对Re LU激活函数进行改进,进一步细化皮肤病变分割结果、对于视网膜血管数据进行数据增强、肺部标签的重新制作。实验结果也证明了不同训练策略对于不同分割任务的有效性。
细粒度图像识别与分类算法研究
这是一篇关于细粒度,深度学习,人脸识别,注意力,残差的论文, 主要内容为细粒度图像人脸识别是计算机视觉领域中的一个重要的研究方向,细粒度图像识别区别于一般级别的基于对物体形态的识别,是基于特定细节的比较,细粒度图像的类别精度需更细致,通过细微的物体局部差异有效的区分不同实例;人脸识别难点在于子类的视觉差异细微,且易被众多因素干扰,在视觉的不同面视觉相似度极高的条件下,挖掘细微的图像差异,对图像进行的正确分类。未经专业训练的人士很难做到细粒度分类,因此细粒度图像的识别与分类在以后的人脸图像精细处理方便的作用将无可估量。首先:人脸图片类内差异大,类间差异小,不同的环境、表情、年龄等干扰因素下模型对个体识别的性能差异显著,如何减少内部变化、扩大外部差异获取高表征力的特征表示是首个主要任务;其次:训练过程参数过多导致训练效率低下,大多数情况模型读取的是静态二维图片,一张256×256的RGB彩色图就有196608个数字,因此如何加快网络模型的收敛过程是另一主要任务。针对以上内容提出了一种基于通道注意力模块的多尺度特征融合残差神经网络(Channel Attetion MultiScale Fusion,CAMF-Res Net)。本文的主要工作如下:(1)针对主流分类模型提取的顶层特征在识别精度上的严重损失,并且网络的加深导致收敛能力降低不利于训练,基于以上问题采用残差块解决网络的加深导致的错误率上升和收敛性降低的缺陷。(2)搭建多尺度特征金字塔融合残差网络,提取特征金字塔提取不同层次的特征进行信息融合,然后融合不同尺度的特征,来获取更强有力的描述性信息,并且残差结构的特性决定了即便是深层次的网络也能减少关键信息的丢失且计算参数大大减少,避免了网络训练速度随着网络深度加深严重迟缓的缺陷,最终的特征表示大幅提高图像表示的性能。(3)针对使用随机递减算法训练网络模型时需要大量手动设置的参数,提出嵌入高效的BN层模块以解决上述问题。通常在添加到每个网络层的Re LU激活单元之前,对从每个层提取的特征映射进行正则化处理,然后执行非线性映射操作,以加速网络模型的训练收敛过程。(4)在端到端网络特征提取中,利用通道注意机制提取相应的高阶特征表示,多通道的注意力权重在批量归一化的基础上经过卷积池化等操作得到描述能力强的图像表示,最后多尺度特征表示与注意力融合后得到的高层特征表示可用作图像分类。实验结果表明,本文方法能有效解决深层网络退化和参数过多的缺陷,提高对细粒度人脸图像判别性区域的精细化能力进而提高模型分类精度以获得更高描述性信息的特征表示。
基于序列特征提取的推荐算法研究
这是一篇关于注意力机制,信息熵,残差,强化学习算法,静态序列化推荐,动态序列化推荐的论文, 主要内容为近年来,序列化推荐系统由于其结合时序信息能够更好地获取用户的长期或短期的兴趣偏好的特点,超越了传统的基于协同过滤的推荐方法,被工业界和学术界广泛地研究和应用。总的来说,根据推荐系统是否与用户产生交互,序列化推荐系统可以分为静态和动态两种:1)静态序列化推荐系统集中于挖掘用户的历史交互信息来构建用户兴趣,更多的是面向短期的推荐;2)动态序列化推荐系统不仅要利用历史交互信息,还要建模用户在推荐过程中的反馈信息,用于实时跟踪用户的兴趣变化,更多的是面向长期的推荐。随着深度学习的发展,学术界和工业界都致力于将深度学习应用于更复杂的序列化推荐任务中,以提升其预测精度。然而,现有的深度序列推荐模型还存在着一些难点和不足:缺乏对用户表现形式的精心设计;忽略对无效或噪声信息的过滤;对用户动态兴趣建模不准确。因此,本文的研究致力于构建更有效的静态/动态序列化推荐模型,主要工作包括:(1)引入信息熵,提出了一种基于熵正则化的自注意力静态序列推荐模型。对不同物品拥有更明显的区分度,能更好地捕捉真正表征用户兴趣特征的物品,减少了噪声物品对构建用户兴趣的不利影响。(2)应用新的残差连接方式,提出了一种基于残差注意力机制的静态序列推荐模型。弥补了传统基于自注意力机制的静态序列推荐模型中训练不稳定、对参数敏感、必须采用预热学习率策略等缺点。(3)改进传统双队列建模方式,提出了一种基于正负反馈的单队列用户状态建模方式。能更清晰地表示用户的喜好信息,对用户的兴趣状态进行更精确的动态建模,减少了模型所需的参数量。(4)引入自注意力机制,提出了一种基于自注意力机制的深度强化动态序列推荐模型。能更好地获取用户的兴趣表征特征,动态地捕捉用户的兴趣变化,较好地解决了传统推荐中的用户冷启动问题。(5)在静态、动态两个序列化推荐场景下,通过大量实验,在不同的离线数据集中,探究和验证所提出不同方法的有效性。对序列化推荐系统中影响用户兴趣建模的因素提供了不同角度的讨论和验证。
基于U-net的行星际日冕物质抛射自动检测模型构建与分析
这是一篇关于数据分析,行星际日冕物质抛射,深度学习,残差,多尺度融合的论文, 主要内容为日冕物质抛射(Coronal Mass Ejection,CME)是一种频繁且剧烈爆发的太阳活动现象,当抛射物抵达行星际空间时被称为行星际日冕物质抛射(Interplanetary Coronal Mass Ejection,ICME)。ICME会干扰地球的电离层、中高层大气以及磁场,从而在空间探索、卫星通讯、电网和电力设施等方面对人类的日常生活产生严重影响。目前,ICME的识别主要依赖于人工检测,存在较强的主观性,而且时间成本较高。因此,如何实现数据驱动的ICME快速自动检测引起了统计和人工智能领域的关注。然而,现存的ICME自动检测算法的框架比较复杂。为了提高检测算法的计算可行性和检测效率,本文将多尺度融合与时间序列分割结合提出了新的ICME自动检测算法(RU-net)。RU-net的不同层之间存在跳跃连接,捕获了模型内部不同层之间的多尺度信息。该模型是一个端对端的结构,其中嵌入了残差元来加速算法的收敛,缓解了梯度消失等问题。除此之外,通过结合少量的ICME先验信息,本文在该模型的最后部分设计了一个简单的结果修正策略,自动去除不可能存在的预测ICME。在WIND卫星收集的原位数据上,本文进行了四个方面的实验,分别是缺失值处理策略的对比实验、检测算法框架的对比实验、修正策略的结果提升对比实验以及算法的特征鲁棒性的结果对比实验。实验结果表明,本文提出的RU-net具有良好的检测性能(成功检测到测试集230个ICME中的178个,F1分数为80.18%)、较高的检测效率以及较强的特征鲁棒性。最后,对实验结果进一步的统计分析揭示了RU-net预测的ICME列表的两类误差(FN和FP)的特点,验证了该列表的物理可靠性,有助于后续对该模型进行改进。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设工厂 ，原文地址：https://bishedaima.com/lunwen/54199.html
