墓室壁画裂缝智能标定技术研究与应用
这是一篇关于墓室壁画裂缝,智能标定,U型网络,特征融合,注意力机制的论文, 主要内容为墓室壁画表达着所在时代的自然环境、政治思想、军事活动、社会生活、宗教文化等多方面的信息,在研究古代艺术和文化上都具有极高的研究价值。墓室壁画受到自然老化、环境因素和微生物侵蚀等因素的影响出现各种病害。裂缝是壁画病害中一种常见的存在,由于人工病害标注不仅耗时长,手续繁琐,而且会对壁画造成二次损害且效率低。因此,在壁画的保护工作中引入图像处理技术,对文物保护工作者进行辅助,可以提高工作效率减少对壁画的破坏。在墓室壁画中出现的裂缝信息可能会导致传统图像处理算法误检,因为这些算法难以区分裂缝与壁画中的细节纹理,工作效率也有待提高。为了提升壁画病害提取的效果,本文设计了一种具有特征金字塔和Transformer的U型卷积神经网络TMCrack-Net对壁画裂缝的进行标定,主要工作内容如下:(1)基于U-Net的墓室壁画裂缝标定算法研究。针对U-Net网络直接使用编码端特征与解码端特征进行相加,没有充分利用不同尺度上的特征的问题,本文使用通道交叉融合模块和双向特征金字塔网络代替跳跃连接,以充分利用不同维度信息,并优化每一层的融合特征,减少特征融合带来的混淆效应;针对多尺度编码特征与解码器特征存在差异的问题,设计了通道注意力交叉融合模块,减少两个特征集之间的歧义;经过消融实验与对比实验证明了本文分割模型性能得到了提升。(2)利用一种基于特征融合和注意力机制的裂缝检测模型成功地生成了壁画图像的二值分割图,用于表示裂缝的位置。对这些裂缝图像进行量化和分析,计算裂缝的几何参数,并对裂缝进行分类。通过对裂缝的特征进行分析,能够为壁画的保护和修复工作提供可靠的依据。(3)墓室壁画裂缝智能标定系统的设计与实现。使用经过训练的模型并结合pyqt5实现系统,对壁画的裂缝进行智能标定。该系统能够导入壁画裂缝图像,完成对裂缝区域的检测和标定、提取裂缝骨架、对壁画裂缝进行分类、并计算裂缝的长度和宽度,整体检测结果较为准确,为壁画裂缝病害的检测提供了一个可视化分析的平台。
基于深度学习的乳腺X线摄影图像肿块分割研究
这是一篇关于深度学习,乳腺疾病,乳腺X线摄影,肿块分割,U型网络的论文, 主要内容为乳腺癌是女性发病率最高的癌症,严重危害女性健康。及时诊断能有效地提高乳腺癌治愈率。乳腺X射线摄影是目前筛查乳腺癌最常用的方式。肿块是乳腺癌最常见的病理特征之一,依赖有经验的医生进行识别。研究乳腺肿块自动化分割具有重要的意义。深度学习技术被广泛应用于肿块分割,现有方法存在肿块边缘分割精确度较低,对致密型乳腺适用性受限的问题,围绕以上问题,开展了以下工作。针对医学影像纹理复杂,内部相关性大的特点,提出了一种基于广感受野设计的LRFU-net模型,LRFU-net具有良好的上下文信息感知能力,能够充分的利用广范围内的特征信息,有效降低像素点分类的假阳性和假阴性比例,提升分割准确度。探索了面向X线射线辐射量更小,对人体危害更少的低能图像的乳腺肿块自动化分割方法,该方法将肿块辨识度高的图像上的精准标注映射到辨识度低的低能图像上作为标签进行深度学习模型训练,得到能够在低能图像上进行肿块自动化分割的模型,减少了就诊者受到的辐射量。为了验证提出方案的有效性,使用真实的临床数据进行实验。实验结果表明,LRFU-net模型相较现有乳腺分割模型降低了14.90%的错误率,在Recall、Precision、Io U、Dice等性能指标上均优于现有方法,能够较好的提升肿块分割准确度。面向低能图像的乳腺肿块分割方法取得了0.8770的Dice评分和0.7837的Io U评分,能够为放射科医生在肿块辨识度较低的低能图像上较好的分割出肿块,提供辅助诊断。
基于深度学习的显著性蒙古族图案检测方法的研究与应用
这是一篇关于显著性目标检测,蒙古族图案,U型网络,注意力机制的论文, 主要内容为蒙古族图案作为一种具有鲜明地域特色和民族特色的传统艺术形式,是蒙古族文化的重要组成部分。它彰显了蒙古族的精神品格,传承了蒙古族的审美价值。蒙古族传统图案多数以组合图案纹样为主,组合图案中的显著性区域代表着图案的艺术形态和意义,是蒙古族图案非遗传承人主要提取的部分。但目前缺少智能化处理工具,这类图案的提取只能依托非遗传承人的手工提取方式完成,因此显著性蒙古族图案的提取存在提取周期长、效率低、提取过程易受个人主观因素影响等问题,导致提取结果缺乏准确可靠的判定依据,难以大规模、批量化的生产与应用。随着计算机视觉领域飞速发展,基于深度学习的显著性目标检测模型广泛应用于众多领域。蒙古族传统图案与现有的人像、自然图像等数据集中的图像相比在尺寸、结构、色彩分布方面存在较大差异,目前还缺乏针对显著性蒙古族图案的数据集,因此现有的方法不能直接应用于蒙古族图案检测。显著性蒙古族图案的预测结果对完整性与细节要求严格,现有的显著性目标检测模型在关注多尺度图像上下文信息,预测显著图细节等方面存在不足。显著性蒙古族图案的智能检测方法是蒙古族图案复制和利用的关键步骤,将帮助蒙古族图案资源被高效利用,增强相关产品在市场上的竞争力,促进蒙古族图案的传承与发展。本文主要研究了基于深度学习的显著性蒙古族图案检测方法,设计并实现了显著性蒙古族图案检测与处理系统,具体工作如下:(1)构建了显著性蒙古族图案检测数据集。针对数据集缺失问题,通过收集、预判定、标记、扩充四个步骤构建了一个包含1900张蒙古族图案的数据集,填补了深度学习领域中显著性蒙古族图案检测数据集的空白,为后续深入研究蒙古族图案奠定了基础。(2)提出了一种命名为SFEMAU2-Net的显著性蒙古族图案检测算法。该网络在U2-Net的编码器阶段添加了补充特征提取模块和轻量级组合注意力模块,提升了模型对多层级特征的补充提取和融合能力,同时增强了模型对有效空间和通道信息的关注,从而提高对显著性蒙古图案预测的完整性。在领域内常用的4个公共数据集上与Res2Net等8种先进方法进行了对比实验,实验结果表明SFEMAU2-Net具有一定的通用有效性。同时,在自制蒙古族图案数据集上与Pool Net等4种先进的开源方法进行了对比试验,三项评价指标均取得了最好的成绩,充分证明了SFEMAU2-Net的领域最优性。另外,增加了自身的消融实验,通过消融实验结果可知,同时引入本文新增模块时,MAE指标相较U2-Net下降了0.0149,max Fβ指标与Em指标相较U2-Net分别增加了0.014与0.028,充分证明了文中所提出的网络结构组成部分具有一定的有效性。(3)设计并实现了显著性蒙古族图案检测与处理系统。通过嵌入SFEMAU2-Net方法以及多种图像处理算法,实现了显著性蒙古族图案在线提取、图像剪裁、编辑,线稿自动生成等功能。为数字化蒙古族图案的高质量复用提供了便捷高效的工具,简化了蒙古族图案的处理过程,为蒙古族传统文化的创新与发展做出了贡献。
基于卷积神经网络的多模态心脏核磁共振图像分割方法研究
这是一篇关于心肌病理分割,心脏分割,多模态图像,U型网络的论文, 主要内容为多模态心脏核磁共振成像(Magnetic Resonance Imaging,MRI)是临床心脏疾病常用的影像学检测方法。由于多模态图像中模态间和模态内强度值变化较大,导致图像存在异质性,以及病灶区域的位置变化、形状和尺度呈现出多样性,使得多模态心脏核磁共振成像分割成为一项具有挑战性的任务。现有的基于多模态分割的方法难以有效地融合和利用多种模态之间的互补信息,导致对心肌水肿和伤疤的分割困难。为了有效地辅助临床医生对心脏疾病的诊断,本文基于卷积神经网络对多模态心脏MRI图像的分割方法进行了研究。主要研究内容如下:1.针对多模态心脏MRI图像中存在的异质性问题以及病灶区域难分割和不连续分割问题,本文提出了一种简单且有效的孪生U-Net网络,该网络能够同时分割心脏结构和心肌病理。首先,本文提出了一种新颖的多模态融合方法,命名为MCIE-Net。该网络可以探索不同模态间的相关性,有效地融合和利用多模态图像中的互补信息。其次,为了获得心肌水肿和伤疤的精确和连续分割,本文使用了一个与MCIE-Net具有相同结构的病灶改善网络,专注于提取病灶特征,以增强病灶信息的融合。本文在Myo PS 2020和MS-CMRSeg 2019数据集上进行了实验,以证明提出方法的有效性。2.针对多模态心脏MRI图像中病灶区域的大小变化较大导致的错误预测问题和双线性插值上采样导致的细节信息丢失问题,本文提出了一种多尺度U型网络来解决。首先,本文在网络的顶部采用了多尺度卷积模块来捕获多尺度特征,该模块利用不同大小的卷积核来实现,这对实现准确的分割结果非常有利。其次,在解码器中,本文将从不同模态中提取到的特征信息融合到一起,利用通道重建上采样来恢复像素级预测,解决了双线性插值上采样中丢失细节信息的问题。本文在Myo PS 2020和MS-CMRSeg 2019数据集上对该方法进行了评估。其中,在Myo PS 2020的测试集上,该方法实现了心肌水肿和伤疤分割的平均Dice值为0.731±0.096。该方法在MS-CMRSeg 2019数据上也实现了较好的分割结果。
基于深度学习的显著性蒙古族图案检测方法的研究与应用
这是一篇关于显著性目标检测,蒙古族图案,U型网络,注意力机制的论文, 主要内容为蒙古族图案作为一种具有鲜明地域特色和民族特色的传统艺术形式,是蒙古族文化的重要组成部分。它彰显了蒙古族的精神品格,传承了蒙古族的审美价值。蒙古族传统图案多数以组合图案纹样为主,组合图案中的显著性区域代表着图案的艺术形态和意义,是蒙古族图案非遗传承人主要提取的部分。但目前缺少智能化处理工具,这类图案的提取只能依托非遗传承人的手工提取方式完成,因此显著性蒙古族图案的提取存在提取周期长、效率低、提取过程易受个人主观因素影响等问题,导致提取结果缺乏准确可靠的判定依据,难以大规模、批量化的生产与应用。随着计算机视觉领域飞速发展,基于深度学习的显著性目标检测模型广泛应用于众多领域。蒙古族传统图案与现有的人像、自然图像等数据集中的图像相比在尺寸、结构、色彩分布方面存在较大差异,目前还缺乏针对显著性蒙古族图案的数据集,因此现有的方法不能直接应用于蒙古族图案检测。显著性蒙古族图案的预测结果对完整性与细节要求严格,现有的显著性目标检测模型在关注多尺度图像上下文信息,预测显著图细节等方面存在不足。显著性蒙古族图案的智能检测方法是蒙古族图案复制和利用的关键步骤,将帮助蒙古族图案资源被高效利用,增强相关产品在市场上的竞争力,促进蒙古族图案的传承与发展。本文主要研究了基于深度学习的显著性蒙古族图案检测方法,设计并实现了显著性蒙古族图案检测与处理系统,具体工作如下:(1)构建了显著性蒙古族图案检测数据集。针对数据集缺失问题,通过收集、预判定、标记、扩充四个步骤构建了一个包含1900张蒙古族图案的数据集,填补了深度学习领域中显著性蒙古族图案检测数据集的空白,为后续深入研究蒙古族图案奠定了基础。(2)提出了一种命名为SFEMAU2-Net的显著性蒙古族图案检测算法。该网络在U2-Net的编码器阶段添加了补充特征提取模块和轻量级组合注意力模块,提升了模型对多层级特征的补充提取和融合能力,同时增强了模型对有效空间和通道信息的关注,从而提高对显著性蒙古图案预测的完整性。在领域内常用的4个公共数据集上与Res2Net等8种先进方法进行了对比实验,实验结果表明SFEMAU2-Net具有一定的通用有效性。同时,在自制蒙古族图案数据集上与Pool Net等4种先进的开源方法进行了对比试验,三项评价指标均取得了最好的成绩,充分证明了SFEMAU2-Net的领域最优性。另外,增加了自身的消融实验,通过消融实验结果可知,同时引入本文新增模块时,MAE指标相较U2-Net下降了0.0149,max Fβ指标与Em指标相较U2-Net分别增加了0.014与0.028,充分证明了文中所提出的网络结构组成部分具有一定的有效性。(3)设计并实现了显著性蒙古族图案检测与处理系统。通过嵌入SFEMAU2-Net方法以及多种图像处理算法,实现了显著性蒙古族图案在线提取、图像剪裁、编辑,线稿自动生成等功能。为数字化蒙古族图案的高质量复用提供了便捷高效的工具,简化了蒙古族图案的处理过程,为蒙古族传统文化的创新与发展做出了贡献。
基于深度学习的视网膜血管分割研究
这是一篇关于U型网络,残差网络,密集块,视网膜血管分割,深度学习的论文, 主要内容为眼底血管网是人眼唯一能直接观察到微循环的部位,视网膜血管结构包含多种重要信息,其形态的改变与某些病理特征密切相关,对视网膜疾病的检测和治疗具有重大意义,而视网膜血管结构的分割是对某些疾病诊断和治疗的前提。传统的手工分割是一项漫长而艰巨的任务,需要大量的实践、技能和训练,现阶段利用计算机可以快速分割出血管。目前已有很多自动分割方法存在,但由于眼底血管结构细小,边界模糊,特别是视网膜图像获取时噪声较大,使得血管与视网膜图像的分割变得困难。为了解决上述问题,本文设计了两种分割算法。主要研究内容如下:(1)针对目前存在的细小血管和低对比度血管分割不足的问题,设计了一种结合U型和残差两种网络的眼底图像血管分割方法。利用对比度限制的自适应直方图均衡化(CLAHE)对图像中的血管进行增强处理,运用伽马变换使图像更亮并减少伪影带来的干扰;使用残差网络Res-Net作为U-Net结构中的下采样层以提高特征的提取能力,进一步解决样本量少引起的过拟合的现象;使用激活函数ELU解决原始激活函数输入值为负时所产生的神经元失活问题。实验结果表明,该方法能够在保证主血管分割连续完整的情况下,实现对比度较低的细小血管分割。(2)针对现存视网膜血管分割中存在严重分割错误和准确率不高的问题,设计了一种结合U型和密集网络的眼底图像血管分割方法。通过CLAHE、中值滤波、数据归一化以及多尺度形态学变换来增强血管特征信息,利用伽马校正,校正伪影;使用随机提取的图像块作为训练数据,增加数据,提高泛化能力;采用随机梯度下降优化Dice损失函数,提高分割精度;最后在Dense-U-Net网络模型中完成分割。实验表明,所设计的模型提高了血管分割的准确率,有较好的性能。本文在DRIVE公开数据集上验证了两种算法的分割性能,RU-net网络的特异度、准确率、灵敏度和AUC分别为0.9892、0.9742、0.7912和0.9823。Dense-U-Net网络的特异度、准确率、灵敏度和AUC分别为0.9896、0.9698、0.7931和0.9738,从数据中可以看出,两种算法都能在一定程度上保留血管的完整结构,并且能很好地分割出细小血管。
基于DCNN-BiLSTM和改进U-Net网络的视听多模态语音分离
这是一篇关于语音分离,多模态融合,空洞卷积神经网络,双向长短时记忆网络,U型网络的论文, 主要内容为语音信号作为人类文明传播的主要途径之一,在现实生活中,语音可能会被其他人声或噪声干扰。因此,在语音信号处理领域,语音分离致力于从多源信号中分离出单个信号,经常被用于语音信号的前端处理,对语音增强、语音识别及人机交互等起着重要作用。传统的语音分离技术多数致力于纯语音的单模态信号处理,随着多媒体技术的发展语音信号往往伴随着视频信号的产生,所以结合视觉信号来辅助语音分离成为了新的研究方向。另外,由于复杂的声学环境基本不影响视频信号的采集,且说话人的面部和嘴唇与声音信号之间存在强相关性,由此近两年出现了采用视觉信号和声音信号的多模态融合方法进行声音分离的研究趋势。基于上述方法,在阅读大量文献和研究的基础上,提出两种基于多模态融合的语音分离方法。本文的主要研究内容如下:首先,针对已有方法分离效果差、语音听感不高的问题,本文提出了一个基于DCNN-BiLSTM模型的视听多模态语音分离技术。该方法使用空洞卷积神经网络(Dilated convolutions neural Networks,DCNN)对视觉和音频信号进行特征提取,将二者进行特征融合,辅助语音分离。本方法可以在低复杂度的情况下获得更多的信号特征,从而更好地分离语音。基于AVSpeech数据集,对本文提出的方法进行消融实验并与AV模型进行实验对比,利用评价指标分析本文提出方法的语音分离性能。研究表明,本文提出的方法比已有方法在客观语音质量评估(Perceptual Evaluation of Speech Quality,PESQ)平均提升0.95,在短时客观可懂度(Short-time Objective Intelligibility,STOI)平均提升0.20,在源失真比(Signal-to-Distortion Ratio,SDR)平均提升3.73dB。其次,针对面部信息相比于唇部信息数据量大,而且唇部信息比面部信息与语音的相关度更高,本文提出了一种多次融合唇部信息的U-Net模型用于语音分离。该方法通过DLIB库提取人脸,并进行截取唇部信息,将唇部信息和音频信息进行多次融合,将得到的融合特征送入U-Net网络进行语谱分离,提高语音分离性能。将本文提出的方法与其他模型进行对比实验,利用PESQ、STOI和SDR对其进行评价。结果表明,与DCNN-BiLSTM模型相比,模型分离出的语音1的PESQ、STOI和SDR分别提升0.05、0.03和0.11dB,分离出的语音2分别提升0.03、0.01和0.10dB。最后,基于DCNN-BiLSTM的语音分离模型可以提取更多的特征,对语音分离效果的提升具有积极作用,另外多次融合唇部信息的U-Net网络利用多次融合唇部-音频特征,对细节把握更优,输入信息是唇部的灰度图像,既能保留关键信息的同时又能降低系统的训练时间,具有更强的适用性。
基于改进U型网络的皮肤病变图像分割算法研究
这是一篇关于U型网络,皮肤病变图像分割,多尺度特征融合,注意力机制,软池化的论文, 主要内容为皮肤病变有很多种,其中致命性最强的当属黑色素瘤。黑色素瘤越早得到诊断,患者存活的几率就越高。皮肤病变的形状轮廓为诊断病变是否属于黑色素瘤提供了重要参考信息,因此分割皮肤病变图像以提取病变轮廓十分关键。为减轻人工分割耗费的时间和精力,目前有许多研究致力于开发算法进行端到端的自动分割。但通过皮肤镜拍摄的图像,病变区域往往存在毛发、刻度等异物的遮挡,还存在病变颜色各异、大小不一、边缘模糊等问题,为自动分割皮肤病变图像带来挑战。本文设计了两种基于改进U型网络的皮肤病变图像分割方法,面对上述挑战时能够得到高精度的分割结果。(1)设计了优化解码路径U型网络,以解决先前研究方法不能准确预测各种大小的病变的问题,不能准确预测有异物遮挡的病变的问题,以及训练速度较慢的问题。首先,使用了在Image Net数据集上预训练的Res Ne Xt50网络作为编码路径,既可以提取丰富的图像特征,又能加快训练速度;然后,在编码路径和解码路径之间,添加了融合通道注意力与空间注意力的注意力模块,来突出皮肤病变区域并抑制异物遮挡,以及空洞空间金字塔池化模块,用于提取多尺度信息来识别不同面积的病变;最后,对解码路径进行了优化,将3×3的方形卷积块等价替换为多分支模块,使还原特征的能力得到提升,进而使模型的性能和鲁棒性增强。通过在ISIC-2016、ISIC-2017、PH2三个皮肤病变图像公共数据集的实验,证明该模型的推理速度和性能优于目前大多数的主流模型。(2)设计了自注意力U型网络,以解决先前研究方法中对有模糊边缘的病变、边缘不规则的病变识别不精确的问题。首先,编码路径使用了Res2Net50,其每一层都能提取多尺度特征。同时将其中的传统下采样方式替换为软池化,软池化可以在特征图尺寸降低时保留更多语义信息。然后,在模型底部添加了密集多尺度模块,涵盖的多尺度范围更广更密集,病变区域边缘颜色与正常皮肤颜色接近的像素会被精准识别。在密集多尺度模块后面引入了基于自注意力的双重注意力模块,以此获得像素间的长距离依赖,有助于模型为边缘轮廓不规则的病变生成精准的边缘轮廓曲线。实验选择了两个权威公开数据集——ISIC-2017和ISIC-2018,所提模型的表现在先进的模型中出类拔萃,在不同数据集上也展现了较强的泛化性。
基于DCNN-BiLSTM和改进U-Net网络的视听多模态语音分离
这是一篇关于语音分离,多模态融合,空洞卷积神经网络,双向长短时记忆网络,U型网络的论文, 主要内容为语音信号作为人类文明传播的主要途径之一,在现实生活中,语音可能会被其他人声或噪声干扰。因此,在语音信号处理领域,语音分离致力于从多源信号中分离出单个信号,经常被用于语音信号的前端处理,对语音增强、语音识别及人机交互等起着重要作用。传统的语音分离技术多数致力于纯语音的单模态信号处理,随着多媒体技术的发展语音信号往往伴随着视频信号的产生,所以结合视觉信号来辅助语音分离成为了新的研究方向。另外,由于复杂的声学环境基本不影响视频信号的采集,且说话人的面部和嘴唇与声音信号之间存在强相关性,由此近两年出现了采用视觉信号和声音信号的多模态融合方法进行声音分离的研究趋势。基于上述方法,在阅读大量文献和研究的基础上,提出两种基于多模态融合的语音分离方法。本文的主要研究内容如下:首先,针对已有方法分离效果差、语音听感不高的问题,本文提出了一个基于DCNN-BiLSTM模型的视听多模态语音分离技术。该方法使用空洞卷积神经网络(Dilated convolutions neural Networks,DCNN)对视觉和音频信号进行特征提取,将二者进行特征融合,辅助语音分离。本方法可以在低复杂度的情况下获得更多的信号特征,从而更好地分离语音。基于AVSpeech数据集,对本文提出的方法进行消融实验并与AV模型进行实验对比,利用评价指标分析本文提出方法的语音分离性能。研究表明,本文提出的方法比已有方法在客观语音质量评估(Perceptual Evaluation of Speech Quality,PESQ)平均提升0.95,在短时客观可懂度(Short-time Objective Intelligibility,STOI)平均提升0.20,在源失真比(Signal-to-Distortion Ratio,SDR)平均提升3.73dB。其次,针对面部信息相比于唇部信息数据量大,而且唇部信息比面部信息与语音的相关度更高,本文提出了一种多次融合唇部信息的U-Net模型用于语音分离。该方法通过DLIB库提取人脸,并进行截取唇部信息,将唇部信息和音频信息进行多次融合,将得到的融合特征送入U-Net网络进行语谱分离,提高语音分离性能。将本文提出的方法与其他模型进行对比实验,利用PESQ、STOI和SDR对其进行评价。结果表明,与DCNN-BiLSTM模型相比,模型分离出的语音1的PESQ、STOI和SDR分别提升0.05、0.03和0.11dB,分离出的语音2分别提升0.03、0.01和0.10dB。最后,基于DCNN-BiLSTM的语音分离模型可以提取更多的特征,对语音分离效果的提升具有积极作用,另外多次融合唇部信息的U-Net网络利用多次融合唇部-音频特征,对细节把握更优,输入信息是唇部的灰度图像,既能保留关键信息的同时又能降低系统的训练时间,具有更强的适用性。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:毕业设计客栈 ,原文地址:https://bishedaima.com/lunwen/54280.html