基于深度学习的高分遥感影像农业大棚提取研究

这是一篇关于深度学习,农业大棚提取,多尺度特征,编解码结构,高分遥感影像的论文, 主要内容为快速、准确的获取农业大棚时空分布信息,对农业资源调查、生产管理以及污染防治等方面具有重要的现实意义。传统人工调查过程复杂繁琐,自动化程度低,难以处理海量化、多元化的遥感影像数据。深度学习是一种多层自编码的人工神经网络,能够从海量标注数据中,学习目标地物的几何结构和上下文关系,实现地物的自动化识别和推理,为复杂场景的农业大棚提取提供了有效的途径。但是,现有的深度学习农业大棚提取模型,受高分遥感影像中细节信息丰富、地物结构多样等特性的影响,农业大棚提取结果中出现“漏提取”和“误提取”。针对这一问题,本文基于高分遥感影像,提出了多尺度特征增强融合网络(Multiscale Feature Enhance Fusion Network,MFEF-Net),实现了农业大棚的精确提取。主要工作和贡献如下:(1)制作高分遥感影像农业大棚数据集。由于公开数据集较少,且存在分辨率低、背景单一的问题。本文使用空间分辨率为0.6米的谷歌影像进行农业大棚数据集制作,主要包含数据裁剪、数据标注、数据增强以及数据集划分等数据处理工作,为高分遥感影像的农业大棚提取研究提供数据集支撑。(2)构建多尺度特征增强融合网络(MFEF-Net)。该网络是以U-Net网络模型作为基础网络,在编码器部分,采用改进后的Res Next-50作为骨干网络,使网络有良好的特征提取性能且不易梯度爆炸或梯度消失;在编码器和解码器之间,引入多尺度特征交叉融合模块和金字塔池化模块,用于融合不同层次的农业大棚特征信息,增强对复杂场景的处理能力;在解码器部分,使用非对称卷积块代替原有特征解码结构中的卷积层,可以更好的恢复大棚边缘细节特征。(3)在公开农业大棚数据集和自制农业大棚数据集上进行实验,实验结果表明,相对于其他语义分割模型,本文方法在F1-score和m Io U两项指标上获得了最佳的结果,较好地解决了传统深度学习模型的农业大棚漏提取和误提取问题,显著提升了农业大棚的完整度。本文对空间分辨率为0.95米的山东省潍坊市青州市谷歌影像,进行了模型泛化能力测试,结果表明,本文提出的MFEF-Net可以快速、准确的提取密集分布的农业大棚,能满足广域农业大棚提取的需要,提高农业大棚智能化解译能力与自动化水平。然后根据提取结果,统计出青州市农业大棚面积与分布情况等信息,为合理规划农业大棚分布、实现集约化作物生产以及农业资源的高效利用提供一定的数据参考。该论文有图46幅,表14个,参考文献69篇。

基于光学遥感图像的风车检测研究

这是一篇关于遥感影像,风车检测,多尺度特征,小目标检测的论文, 主要内容为风能是清洁无公害的可再生能源,在碳中和背景下,建立风电场、组装大量风车是全世界碳中和目标的主要战略之一。随之而来的重要任务是对风电场分布和规划进行研究和分析,而风车是风电场的主要标识,因此对风车的检测和研究对于实现碳中和目标、发展低碳社会具有重要的意义。但是由于涉及到国家安全问题,全球的风车数据往往无法直接获取,而遥感数据具有不受时间、地点限制的优点,可以直接下载全球各个地区的遥感数据,因此本文基于光学遥感图像对风车目标进行研究。风车目标在遥感图像中是一种多尺度目标,受影像获取时间、光照条件、地表覆盖等影响导致目标特征差异大,并且在整个遥感图像中具有面积小、数量少等特点,检测难度大,一般的地物分类检测方法并不适用于风车的检测任务。因此本文针对上述问题,对已有模型进行改进,提出了适合遥感图像风车目标检测的方法。具体而言,本文的研究内容如下:(1)构建了遥感图像风车数据集。由于当前存在的公开遥感数据集中包含的风车图像数量较少,并且其图像中的风车目标特征单一、背景单调,无法满足深度学习模型的训练需求。因此本文选取并下载了国内外多个市级区的遥感影像进行裁剪和标注,构建了一个特征丰富、背景多样的遥感图像风车数据集,并利用主流的目标检测算法对所构建的数据集进行实验对比,确定了在遥感风车数据集上目标检测效果较好的YOLOv5作为本课题研究的基准网络模型。(2)提出了基于遥感图像多尺度特征和小目标检测的改进模型。针对遥感风车图像中目标尺度差异大的问题,将YOLOv5网络中的PANet结构替换为Bi FPN结构,强化底层特征的利用率,提高多尺度目标的检测精度;针对遥感图像中风车小目标难以识别的问题,在YOLOv5网络的检测模块中,额外添加了一个基于Transformer的小目标检测头,以改善网络对微小目标的识别性能;为了进一步提升遥感风车图像中密集排列目标的检测精度,将GAM注意力机制集成到YOLOv5的颈部网络中,以增强网络对高分辨率影像全局信息的提取能力。(3)设计开发了遥感风车图像目标检测系统。基于改进的YOLOv5模型,利用Django框架和Vue框架设计并实现了遥感风车目标检测的原型系统。对模型训练、数据管理以及数据库详细设计等进行了介绍,验证了遥感风车目标检测原型系统的有效性,具有良好的应用价值。

基于改进U-Net的咽拭子图像与胎儿超声图像分割方法研究

这是一篇关于图像分割,卷积神经网络,多尺度特征,注意力机制,U-Net的论文, 主要内容为在使用机器人进行咽拭子采样时,患者口腔内M区域会对机器人采样起到重要引导作用,因此,需要精确分割咽拭子图像中的M区域。与分割咽拭子图像中目标区域的研究工作类似,当使用计算机辅助系统协助超声医师测量超声图像中的胎儿头围时,首先需要分割超声图像中的胎儿头部区域,分割精度将直接影响后期胎儿头部边缘的拟合精度和头围测量精度。本文针对咽拭子图像和超声胎儿图像中的目标区域自动分割方法进行了相关的研究,做了以下研究工作:首先,针对咽拭子图像和胎儿超声图像中目标区域边缘模糊或边缘不连续影响分割精度的问题,本文在U-Net模型的基础上进行改进,利用膨胀卷积替换原始U-Net模型中的普通卷积以获取图像的多尺度特征,并且设计了一种带有通道注意力机制的多尺度特征融合模块,该模块可以自动选择最优的图像尺度特征以提高目标区域边缘的分割精度。这种改进的U-Net模型被用于分割咽拭子图像中的M区域,在分割咽拭子图像中的M区域时,为缓解图像中正负样本不均衡问题,提出了一种混合损失函数。其次,针对超声胎儿图像中存在大量斑点噪声、其他组织结构的干扰和目标区域与背景区域对比度低等因素影响分割精度的问题,本文在上述改进U-Net模型基础上加入了注意力门控模块。为了使模型得到充分的训练,对咽拭子图像数据集和超声胎儿头部图像数据集进行数据增强。最后,通过实验验证改进模型的分割性能,两个分割任务分别使用了不同的模型训练策略,使用Dice相似系数、精确率和召回率作为分割结果的评价指标。在分割M区域任务中,改进的U-Net模型最终分割精度指标可以达到:Dice相似系数91.35%,精确率93.59%,召回率88.87%。在分割胎儿头部图像任务中,改进的U-Net模型最终分割精度指标可以达到:Dice相似系数93.27%,精确率94.71%,召回率91.32%。实验结果表明改进U-Net模型可以有效分割咽拭子图像和超声胎儿头部图像中的目标区域。

基于多尺度光谱特征网络的高光谱图像分类算法研究

这是一篇关于高光谱图像,多尺度特征,光谱-空间信息探索,注意力机制的论文, 主要内容为通过高光谱成像技术采集的图像中包括大量的光谱和空间特征,这些特征的获取使得观测场景中不同物质的识别具有优势。随着高光谱图像分类技术的发展,该技术在化学成像、场景识别和矿物探勘等领域上取得了广泛的应用。其中,光谱-空间特征的关系、标记样本的有限性和图像光谱维度大等问题仍然是具有挑战性的任务。在过去的研究中,虽然已经提出了一些针对高光谱维度高问题的解决方法,但是简单粗暴的降维方式可能会导致光谱波段破坏和丢失的问题,从而造成分类模型的精度下降。同时,现有的基于光谱和空间特征提取的分类网络,存在无法充分有效的提取特征和训练参数较多等问题。在本文中,将高效降低光谱冗余和充分提取光谱特征和空间特征,进而提升分类准确度。本文主要内容如下:(1)针对光谱降维造成信息损失和训练样本有限的问题,本文提出了高效光谱金字塔与光谱-空间特征融合交互的高光谱图像分类网络(ESI-Net),该网络结构可以在训练参数较少的情况下提升分类模型精度。在ESI-Net中,高效光谱金字塔模块能够保留不同感受野下的全局和局部光谱特征以降低光谱降维后造成的信息损失。此外,我们还设计了改进的光谱-空间特征交互模块,从而增加网络对光谱和空间特征的提取。同时,在该模块中利用光谱-空间可分离卷积模块代替传统的三维卷积操作,从而减少可训练参数量和提升网络深度。本文提出的ESI-Net分类方法最终在Salinas Valley(SV)、Pavia University(PU)和Indian Pines(IP)数据集上验证方法的优越性。(2)本文提出了一种基于注意力机制的多尺度光谱特征分类网络(FANet)来提升模型分类的准确度。在FANet中考虑到筛选有意义的特征有助于提升分类网络的准确度。其中,我们引入了一种多尺度光谱特征提取模块使网络获得不同感受野下的光谱特征,并利用基于残差结构的通道注意力机制增加有意义特征值的权重,以提取更全面的光谱信息。此外,针对深化后的网络模型会显著提升训练参数量的问题,我们还引入了基于残差结构的空间注意力机制、基于残差结构的光谱空间注意力机制和改进的光谱-空间特征交互模块,组合构建细节特征提取模块以实现高效获得低维信息的作用,进而提高分类精度。本文提出的FANet方法最终依然在SV、P U和IP三个公共的数据集上验证算法的优越性。

基于多尺度特征的脑胶质瘤核磁共振图像分割与分级研究

这是一篇关于核磁共振成像,脑肿瘤分割,多尺度特征,图卷积神经网络的论文, 主要内容为脑胶质瘤是一种常见的原发性脑恶性肿瘤,具有较高的病发率和死亡率。在临床中及时发现脑肿瘤并制定相应的治疗方案,能够提高病人的治愈率和生存率。核磁共振成像(Magnetic Resonance Imaging,MRI)具有非侵入式的特点且对脑组织具有很好的成像效果,能够帮助医生对脑肿瘤区域与正常组织进行区分。当前主要通过医生对MRI影像中的脑胶质瘤各类区域进行手动分割,由于医生的工作经验不同导致对肿瘤区域的判定结果不同,分割结果的可重复性较低、主观性较高。因此,实现对脑肿瘤的自动分割具有重要临床意义。随着机器学习与深度学习的发展,人们对MRI影像的研究从人工设计模型构造特征逐渐向深度学习模型自动提取特征方向发展,尺度上也不再局限于图像浅层特征,而是通过卷积向深层特征扩展。基于此,本文以脑胶质瘤MRI影像为研究对象,提出一整套基于多尺度特征的脑胶质瘤核磁共振图像分割与分级方法,能够较为有效的辅助临床精准诊疗。本文的具体内容如下:在浅层特征提取模型构造方面,针对多序列MRI图像勾画样本效率低、主观性强等问题,提出一种基于多序列特征构造的脑胶质瘤分割方法。通过融合图像的空间域和频率域信息,提取用于表征脑组织结构信息的特征集,解决了传统单一领域特征提取的局限性。在图半监督学习思想的基础上,提出局部-全局自适应信息学习算法,完成对脑胶质瘤的分割。实验结果表明,该方法在标注样本较少的前提下保证肿瘤的分割精度,提高分割效率,所产生的量化指标为脑胶质瘤MRI的早期临床诊断提供依据。尽管取得较好的分割结果,基于浅层特征的分割算法在特征提取模型设计方面仍然存在着一定的局限性。常用的卷积神经网络能够获取深层特征,将造成局部信息丢失问题。为增强算法对局部相关信息的感知能力,提出一种基于膨胀邻域的图卷积神经网络分割方法。提出膨胀邻域的边连接机制将U-Net的图像数据扩展为图结构数据,解决图像数据转化为图结构数据中边的构造问题。随后利用GCN对图结构数据进行分类,实现脑胶质瘤区域的分割。实验结果表明,该方法与U-Net相比,在各项指标上都有明显提升。临床中脑胶质瘤MRI影像分析包括病灶分割与分级诊断,对于分割后的病灶区域进行定量分析有助于提高自动分级的精准性,从而为辅助诊断提供可靠依据。为此,将浅层特征与深度学习特征相结合,提出基于多尺度特征的脑胶质瘤自动分级方法。利用深度特征扩充了获取特征的能力,并提升模型预测的性能。实验结果表明该方法能够对脑胶质瘤进行精确分割与分级,有助于临床医生的精准诊断与治疗方案的制定。

基于深度学习的高分辨率遥感影像建筑物提取和变化检测研究

这是一篇关于高分辨率遥感影像,建筑物提取,建筑物变化检测,多尺度特征,注意力机制的论文, 主要内容为建筑物为城市居民的居住、工作、休闲以及其他活动提供了基本的功能活动空间,快速提取高分辨率遥感影像数据中的建筑物信息,对城市规划、地表动态监测和土地利用管理等具有重要意义。但考虑到遥感影像构成复杂,仅依靠人力解译不仅效率低下,同时存在极大不稳定性。目前,相关建筑物提取与变化检测算法已能够实现建筑物的自动化分割,并有效地提高建筑物分割精度。然而,由于建筑物具有颜色纹理等特征可区分度高、呈一定空间排列分布、尺度大小不一、边缘形状复杂等特性,同时变化检测任务中前后时相影像存在时序关联的特点,建筑物的自动化提取与变化检测算法研究仍是一项具有挑战性的任务。因此,本文围绕遥感影像中建筑物提取与变化检测模型展开研究,主要工作包括:(1)针对高分辨率遥感影像中建筑物主体难定位、建筑物空间上下文信息未能有效利用、多尺度建筑物难充分提取等问题,提出了一种基于双向监督网络的建筑物提取模型—BDS-UNet。首先,在U-Net模型的跳跃连接部分引入协调注意力门控模块,通过沿着横纵两个不同空间方向聚合特征信息并互补生成注意力热图,合理整合建筑物特征并实现对建筑物主体的精准定位。其次,在U-Net模型的桥接部分加入连续空间金字塔模块,对小尺度空洞卷积分组并在组内对输入特征进行逐级叠加,进一步捕获不同建筑物间存在的空间上下文信息。最后,提出一种双向监督结构,在解码阶段分成自上而下和自下而上两个部分传播并融合相邻解码器的预测结果,有效提升模型的多尺度建筑物提取能力。公开的Massachusetts数据集和WHU数据集上的实验结果证明了本文所提出模型在建筑物提取方面的出色表现。(2)针对前后时相影像间时序特性难以充分捕获、变化区域边缘细节和空间上下文信息易被忽略的问题,提出一种基于变化感知和全局增强的建筑物变化检测模型—CAGE-Siam-UNet。首先,在Siam-UNet模型的孪生编码器特征融合阶段加入变化感知模块,从时空激活、通道激活和感知激活三个分支对前后时相特征进行激活,从而凸显不同时序建筑物的变化差异。其次,提出一种全局增强解码器结构,通过局部细化操作、空间上下文特征融合和双向深度监督,在丰富变化区域边缘细节和空间上下文信息的同时,优化模型的多尺度变化区域提取能力。公开的LEVIR数据集和WHU变化检测数据集上的实验结果证明了本文所提出模型在建筑物变化检测方面的出色表现。

基于多尺度注意力机制的图像检索方法研究

这是一篇关于商标图像检索,多尺度特征,注意力机制,Kmeans++,三元组采样的论文, 主要内容为图像检索是计算机视觉领域的热门研究方向,商标图像检索作为其中的一个细分和典型应用领域,在生活中有许多实际场景如商标合法性检测、品牌商业分析、电商平台的商品搜索及推荐等涉及到商标图像分析的场景,具有重要的研究意义。本课题在对现有的图像检索技术,尤其是商标图像检索技术进行分析调研的基础上,结合现有技术的一些局限性,提出了改进措施,主要工作如下:(1)实际场景中商标常具有图像背景复杂、分辨率高、尺寸差异较大等特点,严重影响商标特征的表达。受人眼注意力机制启发,本文提出了一种双阶段商标图像检索网络,将检索任务分成位置回归及相似性度量两个步骤进行,对应人眼聚焦视野关键区域,进而对关键区域特征进行重点学习的过程。(2)对于商标位置回归任务,本文设计了一个商标区域建议模块。针对基础模块中小尺寸商标框易丢失、大尺寸商标框易偏移的问题,进行了以下优化:首先,进行多尺度特征融合,充分利用不同尺度的特征图信息。其次,改进特征融合方式,利用反卷积代替插值加卷积实现特征图的上采样,相对于线性插值这种确定逻辑且过于聚焦局部信息的上采样方式,反卷积能动态更新卷积核参数并且关注到局部像素之外的上下文信息,更能适应复杂背景下的商标位置回归任务,并用3*3卷积组替换1*1卷积,尽管引入了更多的参数,但有效地加大了感受野,优化了大尺寸商标回归框偏移的问题。最后,利用Kmeans++算法改进商标区域建议模块的anchor生成机制,引入强先验信息,指导模型更快收敛。(3)对于商标相似度计算任务,本文设计了一个商标相似性度量模块。针对商标易出现残缺或遮挡、商标框偏移引入背景干扰的问题,进行了以下优化:首先,引入通道注意力,优化特征提取网络对不同通道特征图的筛选能力。其次,引入空间注意力,改善网络在空间维度上对商标位置信息的学习能力,进而抑制背景特征的表达。并且,在现有空间注意力模块的基础上,本文加入了一个随机池化分支,来克服平均值池化中正负响应值相抵消及最大值池化在非极大值响应点上的信息损失的弊端。最后,提出了一种新的三元组采样策略,利用特征距离矩阵来控制极易极难样本比例,使网络学习更加平缓。在Ubuntu18.04系统,Pytorch框架下,利用Flickr Logos-32和Logos-32plus合并数据集进行验证。实验结果表明本文提出的双阶段商标图像检索模型,m AP@20指标为0.961,单张推理时间比拓展查询法(QE)快15ms,并且AR、ANMRR指标为0.937、0.076,优于QE的0.906、0.106。

基于卷积神经网络的淡水鱼类图像分类研究

这是一篇关于淡水鱼类识别,注意力机制,卷积神经网络,多尺度特征的论文, 主要内容为淡水鱼种类识别是渔业资源开发规划,渔业向自动化、智能化发展的关键步骤,广泛应用于渔业资源管理、淡水鱼养殖、淡水鱼分拣深加工等方面。结合深度学习技术进行淡水鱼类种类识别的研究具有很高的经济价值。因此,本文针对传统淡水鱼类分类方法速度慢、精度低、特征提取困难等问题,开展了基于卷积神经网络的淡水鱼类图像分类研究,主要研究内容如下:(1)构建了模型训练所需的淡水鱼类图像数据集。首先通过手持设备实地拍摄和互联网图片搜集两种方式进行图像的采集,对淡水鱼类图像进行整理分类,共采集整理包含草鱼、鳙鱼、鲫鱼等10类淡水鱼图像。其次针对淡水鱼类图像样本数量不足的情况,对训练数据集进行了垂直翻转、水平旋转一定角度、随机裁剪等一系列数据增强操作,在一定程度上改善了模型训练过拟合的情况。(2)针对淡水鱼类图像复杂、特征提取困难的问题,本文设计了一种改进Xception模型。首先在Xception模型的深度可分离卷积模块中构建层次类连接,将特征图按通道进行分组滤波叠加,以更加细粒度的方式提取多尺度特征,增加每个网络层所提取特征信息的丰富度。同时在深度可分离卷积模块前添加1×1标准卷积层进行通道分组,进一步加强特征图不同通道间的信息交互。通过实验研究了不同分组数对模型分类性能的影响,确定最佳的分组数,并且探讨了不同超参数对分类性能的影响。实验结果表明,该方法能够高精度地对淡水鱼种类进行识别。(3)针对淡水鱼类图像类间相似度高,难以识别的问题,本文提出一种基于Res2Net50的淡水鱼类分类方法。首先将SANet中的SA模块嵌入Res2Net的残差模块中,融合不同组的空间和通道注意力特征信息,实现特征信息的重标定。其次在下采样的残差连接中添加平均池化层,同时使用3个3×3卷积核替代Res2Net模型中第一个卷积层的7×7卷积核,既加强了模型的非线性能力又减少了下采样过程中的特征信息损失。最后选择CELU激活函数提升模型的表达能力。实验结果表明,该方法能够有效地对淡水鱼类进行分类识别。(4)为了解决淡水鱼种类识别过程中速度慢、计算量大的问题,本文提出一种改进GhostNet模型。对GhostNet模型中的SE模块进行改进,探索了模块中通道压缩率和特征融合位置对模型分类性能的影响,使模型可以更好地学习到特征图不同通道的重要性。通过与其他轻量化模型对比,验证了所提方法在保持计算复杂度基本不变的同时,具有更佳的分类性能。

基于深度学习的高分辨率遥感影像建筑物提取和变化检测研究

这是一篇关于高分辨率遥感影像,建筑物提取,建筑物变化检测,多尺度特征,注意力机制的论文, 主要内容为建筑物为城市居民的居住、工作、休闲以及其他活动提供了基本的功能活动空间,快速提取高分辨率遥感影像数据中的建筑物信息,对城市规划、地表动态监测和土地利用管理等具有重要意义。但考虑到遥感影像构成复杂,仅依靠人力解译不仅效率低下,同时存在极大不稳定性。目前,相关建筑物提取与变化检测算法已能够实现建筑物的自动化分割,并有效地提高建筑物分割精度。然而,由于建筑物具有颜色纹理等特征可区分度高、呈一定空间排列分布、尺度大小不一、边缘形状复杂等特性,同时变化检测任务中前后时相影像存在时序关联的特点,建筑物的自动化提取与变化检测算法研究仍是一项具有挑战性的任务。因此,本文围绕遥感影像中建筑物提取与变化检测模型展开研究,主要工作包括:(1)针对高分辨率遥感影像中建筑物主体难定位、建筑物空间上下文信息未能有效利用、多尺度建筑物难充分提取等问题,提出了一种基于双向监督网络的建筑物提取模型—BDS-UNet。首先,在U-Net模型的跳跃连接部分引入协调注意力门控模块,通过沿着横纵两个不同空间方向聚合特征信息并互补生成注意力热图,合理整合建筑物特征并实现对建筑物主体的精准定位。其次,在U-Net模型的桥接部分加入连续空间金字塔模块,对小尺度空洞卷积分组并在组内对输入特征进行逐级叠加,进一步捕获不同建筑物间存在的空间上下文信息。最后,提出一种双向监督结构,在解码阶段分成自上而下和自下而上两个部分传播并融合相邻解码器的预测结果,有效提升模型的多尺度建筑物提取能力。公开的Massachusetts数据集和WHU数据集上的实验结果证明了本文所提出模型在建筑物提取方面的出色表现。(2)针对前后时相影像间时序特性难以充分捕获、变化区域边缘细节和空间上下文信息易被忽略的问题,提出一种基于变化感知和全局增强的建筑物变化检测模型—CAGE-Siam-UNet。首先,在Siam-UNet模型的孪生编码器特征融合阶段加入变化感知模块,从时空激活、通道激活和感知激活三个分支对前后时相特征进行激活,从而凸显不同时序建筑物的变化差异。其次,提出一种全局增强解码器结构,通过局部细化操作、空间上下文特征融合和双向深度监督,在丰富变化区域边缘细节和空间上下文信息的同时,优化模型的多尺度变化区域提取能力。公开的LEVIR数据集和WHU变化检测数据集上的实验结果证明了本文所提出模型在建筑物变化检测方面的出色表现。