基于图像语义特征和深度哈希特征检索的虚拟试穿系统研究
这是一篇关于服装检索,特征提取网络,深度哈希学习,轻量化,虚拟试穿的论文, 主要内容为互联网和电子商务技术近年获得了飞速发展,在线购物正成为人们日常生活中的普遍选择,用户可以根据自己的喜好在购物平台上挑选心仪的服装。目前在线服装购物平台虽然取得了巨大的发展,但仍存在以下不足:1)网购模式下,消费者无法根据图文信息预测自身的试穿效果,导致退换货率一直居高不下;2)虚拟试穿技术可以在一定程度上缓解网购平台大量退换货的压力,但现有的虚拟试穿体验主要依赖于用户主动选择,大多缺乏对感兴趣商品的推荐虚拟试穿功能,缺乏个性化和高准确性的推荐试穿体验。因此有必要开发具有精确检索能力的在线虚拟试穿系统。近年来,相较于传统算法,基于卷积神经网络模型语义特征的图像检索方法能够获得更优质的图像语义信息和更高的检索效率,但缺乏在复杂场景下对服装目标区域和背景信息的区分,导致检索准确率受限。而基于深度哈希方法的服装检索虽然能够实现高效的服装匹配,但对于不同类型的相似服装的区分能力仍需进一步提升。为解决上述问题,本文基于深度学习技术,设计了一种高准确率、低延时的基于服装图像检索的虚拟试穿系统。可以解决现有的虚拟试穿系统仅针对用户主动选择的服装图像虚拟试穿问题,更大程度地通过检索减少用户查询时间,丰富购物体验。论文主要从卷积神经网络和深度哈希方法两个方面对图像检索技术进行优化,为用户提供更加准确的服装检索推荐功能,同时考虑到设备的部署问题,进行了模型轻量化构建,主要研究内容如下:(1)针对现有图像检索方法在背景复杂和目标区域小等因素下对服装图像位置信息在空间上难以捕捉的问题。本文在Rep VGG结构中引入坐标注意力模块,加强了网络对目标服装在空间方向上的位置信息和长距离依赖关系的关注,准确定位服装对象所在区域,忽略冗余的周边背景信息。同时,为了加强网络对服装图像上下文信息的获取,提高特征利用率,构建了一个两分支空洞卷积特征融合结构FFM,可获得图像多尺度感受野特征信息。改进后的Rep VGG方法在In-shop服装检索数据集上分类准确率和检索准确率分别达到96.5%、85.71%,比原始算法提高了1.6%和2.45%。(2)针对现有深度哈希算法较少利用数据集全局监督信息,对分类困难样本生成的哈希码紧致性和分离性约束不足,以及未充分利用生成哈希码的类别级语义带来的语义信息丢失等问题。提出了一种非对称中心相似度哈希算法,该算法损失函数融合了对比损失、中心相似度损失和基于标签平滑的类别损失。其中,对比损失能够保持原始图像在汉明空间上的相似关系,类别级损失能够关注哈希学习中语义空间分布问题,增强类似哈希码的潜在关联性,中心相似度损失则引导哈希函数生成分布更加收敛的哈希码,有效改善哈希码对困难样本的判别能力。实验表明,所提算法在服装检索数据集上检索精度m AP达到83.5%,相较于深度哈希方法ADSH和CSQ方法分别提升了1.9%和11.2%。(3)针对深度哈希算法在移动终端部署模型参数量大、推断速度慢等问题,利用Mobile Net-V2主干网络进行轻量化改进,改进后的模型参数量为2.31M,较Res Net50-ACSQH模型下降了21.22M,检索精度仅下降了0.22%。为弥补模型轻量化带来的精度损失,通过引入FPN融合网络和无参注意力机制提升了对服装语义特征提取能力,优化后的Mobile Net-ACSQH模型相较Res Net50-ACSQH参数量减少了78.6%,精度提升了1.53%,满足了终端设备的实时性和精度要求。(4)最后,设计了一款基于服装图像检索的虚拟试穿系统。系统功能包括用户管理、服装检索、服装试穿、检索信息统计等。实现了虚拟试穿系统的个性化推荐功能。
基于图像语义特征和深度哈希特征检索的虚拟试穿系统研究
这是一篇关于服装检索,特征提取网络,深度哈希学习,轻量化,虚拟试穿的论文, 主要内容为互联网和电子商务技术近年获得了飞速发展,在线购物正成为人们日常生活中的普遍选择,用户可以根据自己的喜好在购物平台上挑选心仪的服装。目前在线服装购物平台虽然取得了巨大的发展,但仍存在以下不足:1)网购模式下,消费者无法根据图文信息预测自身的试穿效果,导致退换货率一直居高不下;2)虚拟试穿技术可以在一定程度上缓解网购平台大量退换货的压力,但现有的虚拟试穿体验主要依赖于用户主动选择,大多缺乏对感兴趣商品的推荐虚拟试穿功能,缺乏个性化和高准确性的推荐试穿体验。因此有必要开发具有精确检索能力的在线虚拟试穿系统。近年来,相较于传统算法,基于卷积神经网络模型语义特征的图像检索方法能够获得更优质的图像语义信息和更高的检索效率,但缺乏在复杂场景下对服装目标区域和背景信息的区分,导致检索准确率受限。而基于深度哈希方法的服装检索虽然能够实现高效的服装匹配,但对于不同类型的相似服装的区分能力仍需进一步提升。为解决上述问题,本文基于深度学习技术,设计了一种高准确率、低延时的基于服装图像检索的虚拟试穿系统。可以解决现有的虚拟试穿系统仅针对用户主动选择的服装图像虚拟试穿问题,更大程度地通过检索减少用户查询时间,丰富购物体验。论文主要从卷积神经网络和深度哈希方法两个方面对图像检索技术进行优化,为用户提供更加准确的服装检索推荐功能,同时考虑到设备的部署问题,进行了模型轻量化构建,主要研究内容如下:(1)针对现有图像检索方法在背景复杂和目标区域小等因素下对服装图像位置信息在空间上难以捕捉的问题。本文在Rep VGG结构中引入坐标注意力模块,加强了网络对目标服装在空间方向上的位置信息和长距离依赖关系的关注,准确定位服装对象所在区域,忽略冗余的周边背景信息。同时,为了加强网络对服装图像上下文信息的获取,提高特征利用率,构建了一个两分支空洞卷积特征融合结构FFM,可获得图像多尺度感受野特征信息。改进后的Rep VGG方法在In-shop服装检索数据集上分类准确率和检索准确率分别达到96.5%、85.71%,比原始算法提高了1.6%和2.45%。(2)针对现有深度哈希算法较少利用数据集全局监督信息,对分类困难样本生成的哈希码紧致性和分离性约束不足,以及未充分利用生成哈希码的类别级语义带来的语义信息丢失等问题。提出了一种非对称中心相似度哈希算法,该算法损失函数融合了对比损失、中心相似度损失和基于标签平滑的类别损失。其中,对比损失能够保持原始图像在汉明空间上的相似关系,类别级损失能够关注哈希学习中语义空间分布问题,增强类似哈希码的潜在关联性,中心相似度损失则引导哈希函数生成分布更加收敛的哈希码,有效改善哈希码对困难样本的判别能力。实验表明,所提算法在服装检索数据集上检索精度m AP达到83.5%,相较于深度哈希方法ADSH和CSQ方法分别提升了1.9%和11.2%。(3)针对深度哈希算法在移动终端部署模型参数量大、推断速度慢等问题,利用Mobile Net-V2主干网络进行轻量化改进,改进后的模型参数量为2.31M,较Res Net50-ACSQH模型下降了21.22M,检索精度仅下降了0.22%。为弥补模型轻量化带来的精度损失,通过引入FPN融合网络和无参注意力机制提升了对服装语义特征提取能力,优化后的Mobile Net-ACSQH模型相较Res Net50-ACSQH参数量减少了78.6%,精度提升了1.53%,满足了终端设备的实时性和精度要求。(4)最后,设计了一款基于服装图像检索的虚拟试穿系统。系统功能包括用户管理、服装检索、服装试穿、检索信息统计等。实现了虚拟试穿系统的个性化推荐功能。
基于二维图像的虚拟试穿网络
这是一篇关于虚拟试穿,服装设计结构保持,语义分割,对抗训练网络,特征融合的论文, 主要内容为基于二维图像的虚拟试衣是将目标服装转移到试穿人体的相应区域,使用服装扭曲对齐再试穿合成的策略,让消费者在线上体验试穿不同的服装,提升购物效率和消费频率,把线上试衣购物作为新的购物消费增长方式,让消费者更加方便快捷的进行试衣体验。但是目前的方法中服装扭曲对齐模块对于服装细节保存不够以及未考虑服装结构的真实性,试穿合成模块对于较为复杂的人体姿势遮挡情况和服装合成的纹理细节紊乱的问题并未解决,因此,本文基于二维图像的虚拟试衣需要对服装扭曲对齐和试穿合成进行进一步研究,主要工作包括:(1)提出了一个保持服装设计结构的像素变换与服饰结构变形特征相结合的多阶段结构保持空间网络SPTN,考虑到带有薄板样条变换的几何匹配可以保留细节但无法保持目标服装的设计结构,而基于外观流的方法无法保留完整细节。因此,采用了差分约束项,以平滑形变过度的区域,并利用差分的方法对不规则形变进行约束,从而实现服装设计结构的合理扭曲,并提出先进行像素变换与服装结构变形特征结合策略,使得服装能够在保持服装设计结构下更准确的进行变形扭曲。(2)提出了一个基于人体姿态与服装特征预测的语义预测模块,该模型旨在分离姿态预测和服装预测来预测语义图像,将人体姿态信息和服装细节进行合成。考虑到之前的方法将粗略的体型参数直接输入网络,导致服装像素和皮肤像素相混淆。因此提出一个基于人体姿态与服装特征预测的语义分割预测模型,两阶段策略使模块更加专注于单一任务,以便在试穿后更准确地预测语义映射。(3)提出了一个基于双编码器的卷积神经网络块的对抗训练合成模型,该模型用改进的双编码器的类U-Net模型捕捉并融合多种局部特征,并改进卷积神经网络的判别器,通过随机剪裁的方法,对产生的图像实行任意尺度的裁剪,从而使得原始图像和裁剪后的图像可以实现有效的判别,增强数据量,弱化数据噪声,具有较强的泛化能力,提高模型稳定性,解决了已有虚拟试衣合成方法对于有复杂人体姿势遮挡情况下,会出现服装细节丢失和视觉伪影紊乱的问题。在公开数据集上的实验表明,与常规分析方法比较,本文提出的分析方法在定性和定量研究领域有15%提升,效果优于目前的基于二维图像的虚拟试穿网络。
基于特征增强的虚拟试穿算法研究及系统设计
这是一篇关于生成对抗网络,图像生成,注意力机制,虚拟试穿的论文, 主要内容为在现实生活中,消费者购买服装产品时往往需要到实体店进行试穿,而这需要耗费大量的时间和精力,同时还存在公共卫生风险等问题,导致消费者的购物体验不佳。虚拟试穿技术的出现能够解决这些问题,它可以让消费者间接地感受到服装上身的效果,判断所挑选的服装与自己的适配程度,提高消费者购买服装的精准性,降低零售商的成本和风险。但是传统的虚拟试穿算法普遍存在服装纹理丢失,服装样式偏差较大,人物姿态不完整缺少真实感的问题,针对以上问题本文从图像生成的角度基于生成对抗网络,开展了特征增强的虚拟试穿算法研究。首先,针对虚拟试穿算法生成的换装图像存在纹理细节丢失的问题展开了研究,本文在算法网络中引入了注意力机制,通过将网络中的残差块Res Block替换为结合通道注意力的SE-Res Block,学习不同通道特征的重要程度,又在样式编码器中引入了金字塔压缩注意力模块(Pyramid Squeeze Attention,PSA),捕获不同尺度的空间信息,增强服装纹理的特征表示能力。经过大量的定量与定性实验,本文提出的改进方案得到了SSIM提高1.1%的结果,所生成的换装图像在具有较好图像质量的同时保有更多的纹理细节。然后,在对纹理细节进行改进的基础上,对生成人物姿态不完整,缺乏真实感的问题也展开了研究。由于目标姿态关键点图像存在高低频差异的特点,本文在姿态编码器中引入了残差快速傅里叶变换块(Residual Fast Fourier Transform Block,Res FFTBlock),通过在频域中捕获目标姿态关键点和图像背景之间的全局差异,增强对目标姿态关键点特征的提取。LPIPS降低了1.65%,PSNR提高了7%的定量实验结果和大量的定性实验结果均证明了本文算法改进的有效性,得到的换装图像中人物身体结构更为完整,服装在人物身体上生成得更为准确,既能更好地保有服装纹理样式和人物姿态又能更加符合人类的视觉感知。最后,基于训练好的智能试穿模型设计并开发了虚拟换装Web系统。该系统采用前后端分离的架构,使用Vue.js框架完成对前端的开发,后端使用Flask框架完成对Web服务的搭建。经过调试、集成和测试后,系统达到了预期效果,实现了虚拟换装功能,展示了本算法在实际中的应用效果。
基于特征增强的虚拟试穿算法研究及系统设计
这是一篇关于生成对抗网络,图像生成,注意力机制,虚拟试穿的论文, 主要内容为在现实生活中,消费者购买服装产品时往往需要到实体店进行试穿,而这需要耗费大量的时间和精力,同时还存在公共卫生风险等问题,导致消费者的购物体验不佳。虚拟试穿技术的出现能够解决这些问题,它可以让消费者间接地感受到服装上身的效果,判断所挑选的服装与自己的适配程度,提高消费者购买服装的精准性,降低零售商的成本和风险。但是传统的虚拟试穿算法普遍存在服装纹理丢失,服装样式偏差较大,人物姿态不完整缺少真实感的问题,针对以上问题本文从图像生成的角度基于生成对抗网络,开展了特征增强的虚拟试穿算法研究。首先,针对虚拟试穿算法生成的换装图像存在纹理细节丢失的问题展开了研究,本文在算法网络中引入了注意力机制,通过将网络中的残差块Res Block替换为结合通道注意力的SE-Res Block,学习不同通道特征的重要程度,又在样式编码器中引入了金字塔压缩注意力模块(Pyramid Squeeze Attention,PSA),捕获不同尺度的空间信息,增强服装纹理的特征表示能力。经过大量的定量与定性实验,本文提出的改进方案得到了SSIM提高1.1%的结果,所生成的换装图像在具有较好图像质量的同时保有更多的纹理细节。然后,在对纹理细节进行改进的基础上,对生成人物姿态不完整,缺乏真实感的问题也展开了研究。由于目标姿态关键点图像存在高低频差异的特点,本文在姿态编码器中引入了残差快速傅里叶变换块(Residual Fast Fourier Transform Block,Res FFTBlock),通过在频域中捕获目标姿态关键点和图像背景之间的全局差异,增强对目标姿态关键点特征的提取。LPIPS降低了1.65%,PSNR提高了7%的定量实验结果和大量的定性实验结果均证明了本文算法改进的有效性,得到的换装图像中人物身体结构更为完整,服装在人物身体上生成得更为准确,既能更好地保有服装纹理样式和人物姿态又能更加符合人类的视觉感知。最后,基于训练好的智能试穿模型设计并开发了虚拟换装Web系统。该系统采用前后端分离的架构,使用Vue.js框架完成对前端的开发,后端使用Flask框架完成对Web服务的搭建。经过调试、集成和测试后,系统达到了预期效果,实现了虚拟换装功能,展示了本算法在实际中的应用效果。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码驿站 ,原文地址:https://bishedaima.com/lunwen/52405.html