复杂果园环境下杨梅成熟度判别方法研究

这是一篇关于杨梅果实检测,成熟度判别,机器人采摘,局部滑窗法,深度卷积神经网络的论文, 主要内容为杨梅在种植周期中呈现出果实成熟期较短、个体成熟时间存在显著差异性的生长特性,在采收期主要依靠人工方式分批采摘杨梅果实,这种重复性采摘模式导致采收成本高、劳动强度大。为此,自动采摘机器人已成为近年来智慧农业中的一个研究热点,它应用机器视觉技术识别与定位果实,并通过末端执行器模拟人工定位与果实采摘操作。然而,野外果园场景中的显著非结构化环境特征和杨梅果实特殊的生长形态特性,极易影响采摘机器人对果实的识别与定位准确性。因此,本文基于单目机器视觉技术,结合传统图像分析和深度学习策略,研究光照多变和聚簇生长条件下的杨梅果实定位与成熟度判别方法,论文主要研究内如和结论如下:(1)结合局部滑窗技术和果实外观形态特征的杨梅成熟度判别方法。为了维持光学图像中杨梅果实区域的实际色彩信息,在HSV(Hue/Saturation/Value)颜色空间中,采用对比度受限自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE)处理色调分量H,缓解了因果园环境光照变化导致果实区域成像不稳定的问题;在YCb Cr颜色空间中,采用Cb Cr色差法和最大类间阈值分割算法滤除图像中的大部分背景区域,为解决Cb Cr色差图中的果实区域过分割问题,结合区域生长策略实现候选杨梅果实区域的提取;进一步采用局部滑窗法遍历候选杨梅果实区域,并结合局部二值模式(Local Binary Pattern,LBP)和支持向量机(Support Vector Machine,SVM)建立杨梅果实目标的分类模型,通过软非极大值抑制(Soft Non-Maximum Suppression,Soft-NMS)对邻近区域的分类结果进行融合以输出更高精度的果实检测结果;最后,基于成熟杨梅果实的外观色彩先验知识,提出结合颜色演化模型和红色比的果实成熟度识别算法,实现了杨梅果实的成熟度判别。实验结果表明,与全局滑窗法、标记控制分水岭凸包法和超像素聚类三种算法相比,本文方法在不同光照场景中的杨梅果实检测和成熟度判别上均获得了最优的性能,其中对杨梅果实的检测精确率、召回率和F1-score分别为92.51%、90.82%和91.65%,对杨梅果实的成熟度判别准确率达到了90.85%;此外,局部滑窗策略有利于抑制大量仅包含背景的候选图像区域,显著降低了果实检测环节的计算复杂性,本文方法的平均检测速率达到了173 ms/帧,从传统目标检测方法角度看,该方法表现出了良好的近实时检测性能。(2)基于深度卷积神经网络(Deep Convolution Neural Network,DCNN)的杨梅成熟度判别。针对DCNN对训练数据数量和多样性的需求,采用离焦模糊、运动模糊、旋转变换、随机裁剪、随机翻转、亮度和对比度调整等方法进行训练数据的扩充;进一步结合迁移学习策略,在扩充后的训练数据上评估了YOLOv5s、Center Net、SSD和Faster RCNN不同架构DCNN的杨梅果实检测及成熟度判别性能。实验结果表明,在整体平均性能表现方面,Faster RCNN获得了最优的杨梅果实检测和成熟度判别性能,其F1-socre分别为95.72%和92.62%,但其平均检测速率在四种网络模型中最低,为117 ms/帧;YOLOv5s获得了最快的杨梅果实检测和成熟度判别速率,达到了30 ms/帧,其F1-socre分别为95.52%和90.61%,总体精度略低于Faster RCNN,同时该网络模型的参数总量和GPU运算空间复杂度均低于其他三种网络模型。在模型泛化性能表现方面,Faster RCNN和YOLOv5s受果园光照条件变化和杨梅果实随机生长形态特性的影响最小,能更准确地检测与判别被遮挡和聚簇形态下的杨梅果实,与CenterNet和SSD两类模型相比,最高检测准确性约提高了15%。

基于卷积神经网络与Transformer的视网膜图像血管分割方法研究

这是一篇关于视网膜图像血管分割,注意力机制,深度卷积神经网络,Transformer的论文, 主要内容为青光眼、黄斑变性、眼底渗出物和糖尿病等眼科疾病的患病率逐年上升,及早发现和治疗这些疾病才能有效保证患者的生活质量。由于人体中部分疾病的发生会导致视网膜血管发生变化,并在眼底表现出病变特征。而视网膜血管特征变化也常被医生作为诊断心血管疾病的重要指标。因此,准确的视网膜眼底血管医学影像分割对于辅助医生进行诊断和治疗尤为重要。近年来,卷积神经网络被广泛应用于视网膜血管像素分类和血管分割任务,虽然在提升视网膜血管实时分割效率和血管分割精度方面已经有了一些有效的研究成果,但仍存在一些问题:(1)现有的大部分方法对浅层的细节特征提取不完全或部分特征信息丢失,致使位于图像边缘的毛细血管难以准确分割。此外,眼底血管树分布一般是不对称的,血管动静脉与毛细血管直径差别很大,一些方法也很难对此同时分割。(2)虽然卷积神经网络具有提取图像局部特征信息的优势,但卷积块感受野有限且简单多次叠加容易造成信息损失,在特征提取以及血管分割方面存在局限性。(3)尽管Transformer在建模长距离依赖关系方面表现良好,但对于视网膜眼底血管分割任务来说局部信息也十分重要,仅使用Transformer难以保证实现血管的精确分割。针对以上问题,本文基于卷积神经网络与Transformer对视网膜图像血管分割方法进行了研究。论文研究的主要内容如下:(1)提出了一种基于跳过连接信息增强的多尺度视网膜血管分割网络(Skip Connection Feature Enhancement Network,SCFE＿Net)。首先,以多种尺度的视网膜图像作为输入,实现网络对不同尺度特征的捕获。其次,提出了特征聚合模块对浅层网络的信息进行聚合,利用浅层特征为网络提供更丰富的信息。最后,提出跳过连接信息增强模块融合浅层网络的细节特征和深层网络的高级特征,避免网络层与层之间信息交互不完全的问题。(2)在SCFE＿Net的基础上,从提取局部细节特征之间的联系和利用长距离的依赖信息做出补充的角度出发。引入Transformer机制,设计了一个联合卷积神经网络和Transformer的网络模型(Multi-scale Transformer-Position Attention Network,MTPA＿Unet)应用在视网膜血管分割任务上。MTPA＿Unet采用多分辨率图像输入的方式使得网络能够提取到不同层次的信息。将Transformer与卷积神经网络以串行的方式结合,提出的Transformer-位置注意力模块不仅能够捕获长距离依赖关系并且关注到血管像素的位置信息,从而有助于MTPA＿Unet实现了对毛细血管更精细的分割。(3)分别在三个公开的视网膜图像数据集DRIVE、CHASE和STARE上对本文提出的模型性能进行评估分析。通过在三个数据集上的训练和测试,SCFE＿Net模型准确率分别达到97.01%、97.67%、97.68%,特异度分别达到98.32%、98.65%、98.53%,Dice系数分别达到83.00%、81.81%、85.05%。相比于次优模型,SCFE＿Net提升了视网膜血管图像分割的精度。MTPA＿Unet模型准确率为97.18%、97.62%和97.73%;特异度为98.36%、98.58%和98.41%;Dice系数为83.18%、81.64%和85.57%。MTPA＿Unet不仅能够分割出完整的视网膜血管树,而且更进一步地改善了边缘血管细小末梢的分割精度。

基于深度卷积神经网络的焊缝缺陷分类研究

这是一篇关于射线无损检测,焊缝缺陷分类,生成对抗网络,深度卷积神经网络,通道注意力机制的论文, 主要内容为焊接技术在压力容器的生产中起着关键作用,但如果不及时发现焊接的缺陷可能会导致灾难。X射线检测作为一种实用的无损检测(Non-Destructive Testing,NDT)方法,在工业情况下的焊缝缺陷检测中得到了广泛的应用。基于X射线图像的缺陷识别技术也随着人工智能的发展取得了飞速进步。然而,目前的研究主要集中在焊缝缺陷特征识别上,很少有研究考虑从行业标准出发分类焊缝缺陷。并且在焊缝缺陷识别的过程中,也很少有学者研究焊缝位置定位的问题。基于这些问题,本文的具体研究内容如下:(1)本文首先提出了一种基于Hough直线检测和K-means聚类的焊缝位置定位方法,从原始X射线胶片图像中定位焊缝区域。以便于之后数据集的裁剪工作和最后整条焊缝图片的识别工作。(2)本文将焊缝图片内的缺陷裁剪成像素小块作为之后深度学习的样本,并根据焊缝质量评价的行业标准和焊缝缺陷的形状特征将焊缝缺陷分为四类。随后基于某一种焊缝缺陷图像不能使用旋转方法进行数据增强的问题,本文提出了一种基于残差网络(Res Net)改进的生成对抗网络(Generative Adversarial Network,GAN)进行单一缺陷的数据增强,其相比基础GAN模型有着更优的数据生成能力。由此本文构建了新的焊缝缺陷数据集。(3)本文通过一种包含卷积层、批量归一化层和Re LU激活函数层的卷积块搭建了两种深度卷积神经网络(Deep Convolution Neural Network,DCNN)模型,并对其分别采用全连接层降维和全局最大池化层降维。并且基于传统分类模型的评价指标提出了一种针对焊缝缺陷分类的评价指标,名为焊缝缺陷误检比率。本文采用五折交叉验证对比了两种模型的泛化能力,并通过这两种模型验证了新的焊缝缺陷数据集在准确率提升上的有效性。(4)在新数据集的基础上,本文根据两个模型中较优模型最后采用保留每个特征通道特征信息的全局最大池化层降维的思路,采用通道注意力机制对较优模型的前端网络进行特征提取的增强,并由此获得了本文对焊缝缺陷分类的最佳模型。最佳模型在五折交叉验证中,平均准确率中可以达到92.27%,相比于传统的Alex Net分类模型和VGG分类模型,分别高了3.16%和3.73%。同时,最优模型焊缝缺陷误检比率也取得了最优的效果。(5)最后本文采用最优模型通过多个不同大小的滑动窗口遍历整张焊缝底片图的方法获得了整张焊缝底片缺陷的识别效果图,同时对比了原始焊缝图片的识别结果和只保留焊缝区域的焊缝图的识别结果,侧面证明了焊缝位置定位算法提出的必要性。

复杂果园环境下杨梅成熟度判别方法研究

这是一篇关于杨梅果实检测,成熟度判别,机器人采摘,局部滑窗法,深度卷积神经网络的论文, 主要内容为杨梅在种植周期中呈现出果实成熟期较短、个体成熟时间存在显著差异性的生长特性,在采收期主要依靠人工方式分批采摘杨梅果实,这种重复性采摘模式导致采收成本高、劳动强度大。为此,自动采摘机器人已成为近年来智慧农业中的一个研究热点,它应用机器视觉技术识别与定位果实,并通过末端执行器模拟人工定位与果实采摘操作。然而,野外果园场景中的显著非结构化环境特征和杨梅果实特殊的生长形态特性,极易影响采摘机器人对果实的识别与定位准确性。因此,本文基于单目机器视觉技术,结合传统图像分析和深度学习策略,研究光照多变和聚簇生长条件下的杨梅果实定位与成熟度判别方法,论文主要研究内如和结论如下:(1)结合局部滑窗技术和果实外观形态特征的杨梅成熟度判别方法。为了维持光学图像中杨梅果实区域的实际色彩信息,在HSV(Hue/Saturation/Value)颜色空间中,采用对比度受限自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE)处理色调分量H,缓解了因果园环境光照变化导致果实区域成像不稳定的问题;在YCb Cr颜色空间中,采用Cb Cr色差法和最大类间阈值分割算法滤除图像中的大部分背景区域,为解决Cb Cr色差图中的果实区域过分割问题,结合区域生长策略实现候选杨梅果实区域的提取;进一步采用局部滑窗法遍历候选杨梅果实区域,并结合局部二值模式(Local Binary Pattern,LBP)和支持向量机(Support Vector Machine,SVM)建立杨梅果实目标的分类模型,通过软非极大值抑制(Soft Non-Maximum Suppression,Soft-NMS)对邻近区域的分类结果进行融合以输出更高精度的果实检测结果;最后,基于成熟杨梅果实的外观色彩先验知识,提出结合颜色演化模型和红色比的果实成熟度识别算法,实现了杨梅果实的成熟度判别。实验结果表明,与全局滑窗法、标记控制分水岭凸包法和超像素聚类三种算法相比,本文方法在不同光照场景中的杨梅果实检测和成熟度判别上均获得了最优的性能,其中对杨梅果实的检测精确率、召回率和F1-score分别为92.51%、90.82%和91.65%,对杨梅果实的成熟度判别准确率达到了90.85%;此外,局部滑窗策略有利于抑制大量仅包含背景的候选图像区域,显著降低了果实检测环节的计算复杂性,本文方法的平均检测速率达到了173 ms/帧,从传统目标检测方法角度看,该方法表现出了良好的近实时检测性能。(2)基于深度卷积神经网络(Deep Convolution Neural Network,DCNN)的杨梅成熟度判别。针对DCNN对训练数据数量和多样性的需求,采用离焦模糊、运动模糊、旋转变换、随机裁剪、随机翻转、亮度和对比度调整等方法进行训练数据的扩充;进一步结合迁移学习策略,在扩充后的训练数据上评估了YOLOv5s、Center Net、SSD和Faster RCNN不同架构DCNN的杨梅果实检测及成熟度判别性能。实验结果表明,在整体平均性能表现方面,Faster RCNN获得了最优的杨梅果实检测和成熟度判别性能,其F1-socre分别为95.72%和92.62%,但其平均检测速率在四种网络模型中最低,为117 ms/帧;YOLOv5s获得了最快的杨梅果实检测和成熟度判别速率,达到了30 ms/帧,其F1-socre分别为95.52%和90.61%,总体精度略低于Faster RCNN,同时该网络模型的参数总量和GPU运算空间复杂度均低于其他三种网络模型。在模型泛化性能表现方面,Faster RCNN和YOLOv5s受果园光照条件变化和杨梅果实随机生长形态特性的影响最小,能更准确地检测与判别被遮挡和聚簇形态下的杨梅果实,与CenterNet和SSD两类模型相比,最高检测准确性约提高了15%。

基于高分辨率遥感影像的建筑物变化检测算法

这是一篇关于建筑物变化检测,高分辨率遥感图像,注意力机制,视觉transformer,深度卷积神经网络的论文, 主要内容为近年来,随着遥感技术的进步,从遥感影像中检测建筑物的变化已经成为检测地表变化的一种重要方式,对探索土地资源利用和确定灾后建筑物损毁有着重要意义。因为深度学习强大的特征提取能力和端到端的快速检测能力,它已经被广泛应用到变化检测任务中。然而,一些现有的基于深度学习的算法在面对复杂的建筑物特征时存在着一些缺陷,比如捕捉建筑物边缘信息的能力不足,对小尺度目标检测能力差,难以区分相邻位置的建筑等。针对以上问题,本文基于深度学习方法,对高分辨率遥感影像中的建筑物变化进行研究,主要工作如下:1)总结对比传统算法和深度学习的算法,指出传统方法的不足和深度学习方法的优势,尤其在特征提取方面,深度学习方法显著优于传统方法。此外,介绍了深度学习理论知识,以便更好地理解本文所提出的算法。2)针对一些变化检测算法对原始图像的信息(如建筑物边缘的细节)利用不足、对小尺度建筑物或受其他建筑物干扰的变化区域小的建筑物检测效果差的问题,本文提出了一种基于注意力的多尺度输入输出网络,命名为AMIO-Net。它通过多尺度输入输出结构增强了网络对原始图像特征信息的利用能力。同时,利用金字塔池化注意力模块(PPAM)和孪生注意力机制模块(SAMM),在充分考虑全局上下文信息的同时,增强了对小目标的检测能力。在三个公开数据集(LEVIR-CD,Google,S2Looking)上的实验表明,和经典方法(如FCN、Seg Net等)相比,本算法的F1分数在三个数据集上的提升分别达到5.28%-15.32%,11.31%-21.53%,12.29%-26.13%。同先进方法(如SNUNet、STANet等)相比,本算法的F1分数提升分别达到2.27%-6.56%,6.83%-24.08%,6.81%-15.73%。3)针对部分算法由于特征提取能力不足而对不规则形状的目标建筑检测效果差、难以区分位置相近的不同建筑间的变化等问题,本文提出了一种结合UNet编码器和视觉transformer结构的特征增强网络(FENET-UEVTS)来检测高分辨率遥感图像中的建筑物变化。该模型将深度卷积神经网络与视觉transformer结构(VTS)的一部分相结合,对各种建筑物都有很强的特征提取能力,其中VTS主要为不同级别特征图的建筑物提供空间相关性。本文设计了一种增强特征提取器,由空间和通道注意力模块(SCAM)、U形残差模块(USRM)、增强特征提取模块(SFEM)、和自注意力特征融合模块(SAFFM)组成,用来提高网络对不同形状的建筑物及其边缘细节的特征提取能力。此外,为了减少特征图合并时的信息丢失,设计了一个跨通道上下文语义聚合模块(CCSAM)在通道维度上执行信息聚合。为了验证所提出模型的有效性和先进性,在三个公开的变化检测数据集(LEVIR-CD,WHU-CD,CDD)上与其它8个先进算法(如SNUNET、BIT、Change Former等)进行了大量对比实验。结果表明,FENET-UEVTS的F1分数在三个数据集上分别提升了3.68%-13.5%,3.24%-23.63%,3.98%-44.69%,而KAPPA系数则分别提升了3.86%-14.21%,3.69%-28.48%,4.34%-47.07%。

基于深度卷积和生成对抗网络的视网膜血管分类研究

这是一篇关于视网膜动静脉血管分类,深度卷积神经网络,U-Net,生成对抗网络,VGG-19的论文, 主要内容为眼底视网膜动静脉血管分类是诊断大量系统性病变的基本方法。由于以往机器学习的算法操作复杂,且往往依赖于从血管中提取的数据,因此无法进行端到端的动静脉血管分析,而深度语义分割方法的开发则让端到端的视网膜动静脉血管分析成为可能。本文针对如何抽取与图像降质形成过程相关的特征提取,如何定义反映降质形成过程分布的度量等问题,利用深度学习表达能力更强、模型结构灵活等优点,对视网膜血管进行端到端的动静脉血管分类。本文首先提出了一种基于注意力机制的深度卷积视网膜动静脉血管分类模型DCNAM网络。DCNAM网络针对视网膜动静脉血管分类存在血管末端误分类程度较高、存在许多冗杂特征信息以及背景与待处理像素极不平衡等问题,以深度卷积网络U-Net为网络原型,首先将原始编码器模块的后四层替换为Res2net中的前四层,之后引入高斯核函数增强视网膜动静脉血管边缘的特征信息。然后在解码器模块的每个反卷积操作之后加入注意力机制模块,结合局部和全局信息重新分配权重并赋予血管像素更大的权重系数,不断缓解DCNAM网络血管像素与背景像素比例失调问题。最后针对不同厚度的血管设计多个损失函数,使用交叉熵损失函数、DICE损失函数以及焦点损失函数对每个像素点的熵值进行再分配,并将这三种损失函数组合成复合损失函数,增强DCNAM网络对微小血管的检测能力。之后,为了改正DCNAM网络中存在的视盘区域的误分类问题,将DCNAM网络作为对抗式生成网络的生成器部分,提出一种基于三重损失生成对抗网络的视网膜动静脉分类模型TLGAN网络。TLGAN网络分为生成器模块和判别器模块,生成器模块选用Res2Net-50模型作为主干网络,在Res2Net-50模型提取特征后,紧接着利用多个注意力机制将更多的权重分配给具有判别性的特征,最后通过复合损失函数对每个像素点的熵值进行再分配,加强网络对视网膜动静脉血管主干、微小血管以及血管边缘区域的检测能力。判别器模块选用经过预训练处理的VGG-19网络作为主要框架,对Ground Truth视网膜动静脉血管掩膜图、生成器生成的掩膜图、以及经过预处理的掩膜图进行拓扑排序,排序结果可以通过反向传播帮助生成器生成更好的视网膜动静脉掩膜。在进行拓扑排序之后,使用一个三重损失的拓扑模块来提取深层次的视网膜动静脉血管拓扑特征,从而缩小预测值与真值之间的差距。实验证明,本文设计的改进深度卷积网络和改进生成对抗网络能准确对视网膜动静脉血管进行分类,分类准确率分别达到96.85%和98.99%。本文DCNAM网络方法在DRIVE数据集中进行了测试,视网膜动静脉血管分类精度为96.85%,F1值为98.86%,敏感度为98.03%,特异性为99.57%。本文TLGAN网络方法在RITE数据集中进行了测试,视网膜动静脉血管分类精度为98.99%,AUC值为99.32%,敏感度为98.38%,特异性为99.20%。由实验结果可见,与其他网络模型相比,本文方法的各项性能评估指标均有显著提升,可供临床借鉴,实现了视网膜动静脉血管分类的自动检测,能够为眼底各类疾病提供技术支持和辅助判断,节省医疗资源。

基于深度卷积神经网络的腹壁疝轻量型补片检测研究

这是一篇关于轻量型补片,深度卷积神经网络,腹壁疝,目标检测,语义分割的论文, 主要内容为腹壁疝是腹部手术的一种常见并发症,不能自愈,只能通过植入补片来治疗。中国每年有高达300万到500万腹壁疝患者,老年患者发病率甚至高达38%,比任何一种恶性肿瘤的发病率还要高。目前,临床上植入的补片大多是重量型补片,易导致慢性疼痛且复发率高;网眼稀疏、质地轻盈的轻量型补片以其优异的性能已逐步替代重量型补片。然而,作为一个植入的异物,轻量型补片的移位、皱缩仍然可能引起腹壁疝复发等并发症。因此,医生需要对植入的补片进行重新检查和评估,以发现与补片有关的并发症并指导手术和治疗。ABUS自动三维乳腺超声(Automated 3-D Breast Ultrasound)不仅成功地用于检测乳腺肿瘤,而且对于检测腹壁疝补片也十分出色,克服了传统检查方法的缺点。然而,ABUS产生的数据量非常大,人工审阅繁琐费时,很容易发生误诊和漏诊。为了解决这些问题,本文通过自建ABUS腹壁疝轻量型补片超声图像数据集,提出了使用深度学习的全自动检测定位和分割方法。主要的研究工作包括两部分。(1)考虑到超声图像的噪声和伪影等缺陷造成的定位困难,本文提出了一种基于CNN腹壁疝补片超声图像的检测定位算法,帮助临床医生提高补片定位的准确性和速度。以YOLOv3为基本框架,为了实现局部的细节特征与全局的语义特征相互结合,引入了空间金字塔池化结构;并采用迁移学习,提高网络的鲁棒性,减少过拟合。通过实验,本文算法的平均准确率(Mean average precision,m AP)达到90.15%,图像识别速度为33.2FPS/S,可以有效帮助医生快速检测和定位补片区域。(2)进一步本文提出了一种基于改进的U-Net腹壁疝补片超声图像的分割算法,用于对补片轮廓进一步的精确检测。本文以U-Net为基本框架,用特征提取能力更强的残差块(residual block,Res-block)代替主干网络的3×3卷积,并在跳跃连接加入注意力模块CBAM(Convolutional Block Attention Module)来提高对目标区域的特征提取。同时,采用ASPP(Atrous Spatial Pyramid Pooling)模块结合空洞卷积,有效融合多尺度信息,同时增加感受野,对腹壁疝补片的ABUS图像进行分割。最后,在这项工作中,增强的U-Net网络可以准确地分割出补片轮廓,DSC、HD、PA和MIOU指数分别为91.68%、4.21mm、87.43%、84.97%。该研究为腹壁疝补片的检测定位和分割提供了较为准确的结果,减轻了医生的工作强度,显著提高了诊断效率,对腹壁疝患者的二次诊断和治疗具有重要临床价值,为后续的腹壁疝补片的三维重建提供了坚实的基础。