雾霾环境下基于联合优化网络的车牌识别技术

这是一篇关于车牌识别,图像去雾,超分辨率重建,风格迁移,深度学习的论文, 主要内容为车牌识别技术(Vehicle License Plate Recognition,VLPR)是指能够检测到受监控道路的车辆并自动提取出车牌信息的技术。该技术极大地方便了道路交通管理工作,是实现智能交通系统的核心技术之一。该技术应用场景十分广泛,例如停车场管理、高速公路收费站监控以及城市交通监管等。然而,车牌识别技术的稳定性往往很容易受到恶劣极端天气(雾霾、暴雨、沙尘暴等)的干扰,导致识别精度大幅度降低。本文针对雾霾环境下的车牌识别问题,开展了基于联合优化与级联架构方案的研究工作。本文首先调研了图像去雾领域及深度学习的相关知识,为级联架构中各部分的模型设计奠定了理论基础。其次,分析了该技术工业落地所面临的困难与挑战,为实际应用中的优化方案提供了指导方向。最后,依据上述理论知识与问题分析结论,提出了一个基于联合优化与级联架构的雾霾环境车牌识别技术框架。为了获得雾霾环境下分辨率更高的道路图像,本文首先将图像去雾算法放置在级联架构的首部,提出了一种基于雾浓度细化的预处理去雾算法,该算法使用局部大气光值代替全局大气光值,生成更精细的透射图。此外,考虑到图像去雾预处理方法中参数估测带来的误差累积以及为了综合优化车牌的识别效果,本文还采用了深度去雾和车牌目标检测联合优化的思想,在级联架构的目标检测模块中嵌入了图像细化和去雾过程,并提出了基于卷积神经网络的深度去雾和车牌区域提取的联合优化模型(A Joint Further-dehazing and Region-extracting Model,JFRM),该模型可以显著减少累积误差导致的图像复原失真现象,可以协同提高最终的车牌检测效果。然后,对于检测得到的车牌区域进行超分辨率重建,以避免运动模糊对后续字符识别的影响,最终通过字符识别技术得到车牌字符。通过实验可证明级联架构中各部分模型的可行性,以及最终对雾霾环境下车牌识别准确率的正向作用。从工业落地角度出发,上述级联架构中图像去雾模块稳定性仍较差,可能出现自然雾霾环境的去雾表现低于实验结果的情况。针对实用性方面的挑战,本文提出了基于Cycle-GAN风格迁移的去雾网络Dehaze Cycle Net。该网络使用不成对的真实自然图像(包括自然雾霾图像和自然无雾图像)替代实验所使用的成对图像(包括合成雾霾图像和自然无雾图像)进行无监督训练,提高去雾网络在真实环境下的泛化能力,极大地提升了模型的实用性和环境适应能力。最后,基于以上研究成果,本文还实现了一个雾霾环境车牌识别的原型系统。该系统依托C/S架构开发以及Vue框架,实现了雾霾环境车牌识别输出功能以及独立的图像去雾功能。结果表明,原型系统在提供可视化交互界面的同时,对应用户的数据信息也得到有效的管理,方便用户后期的查询以及导出工作。本文利用联合优化与级联架构的方案来实现雾霾环境下的车牌识别技术,大大提高了雾霾环境下的车牌识别准确率。但从网络复杂度以及前向推理时间角度来看,级联架构的方案会面临工业实时性要求的挑战。因此未来工作中需要加入模型压缩方面的考虑,以便实现实时应用程序的落地。

像素缺失的人脸超分辨率重建

这是一篇关于超分辨率重建,人脸遮挡,语义结构损失的论文, 主要内容为人脸超分辨率重建是人脸图像研究领域的热点之一,虽然已经取得了较好的成果,但是对于输入图像分辨率极低,姿态变化大,含有大面积遮挡的条件设置,还是不能很好的进行重建。为了解决以上三个问题,本文提出了一种新的基于深度学习的超分辨率重建算法,主要内容如下:本文的超分辨率重建算法分为两步,首先利用一个低分辨率人脸图像修复网络对输入图像进行修复。由于低分辨率修复网络是采用编码-解码结构,且中间的特征层采用全连接方式进行连接,这将促进未知区域与已知区域有更强的信息交流,提升低分辨率图像修复效果。实验表明,引入低分辨率图像修复网络将大大降低整体问题的难度。紧接着采用一个上采样网络对被修复的低分辨率人脸图像进行上采样,得到高分辨率的完整的人脸图像。在上采样过程中,仅使用L2损失得到的图像较为光滑,为了提升生成图像的视觉效果,本文引入对抗损失。实验表明,对抗损失能有效改善图像光滑的效果,使得图像较为真实。虽然引入对抗损失,但是并没有考虑到人脸结构这一特殊的人脸先验信息。为了增强生成人脸的结构语义信息,本文提出一种新的语义约束——语义结构损失。该语义结构损失是由事先训练好的一个人脸关键点检测网络,针对生成图像和相应的真实图像所得到的人脸关键点做L2损失得来的。实验结果表明,由于生成的高分辨率人脸图像中加入人脸先验信息的约束,使得图像的视觉效果更加逼真。实验表明,本文的算法优于其它对比算法,且比第二名在PSNR值上高出0.44dB,在SSIM上高出10.5%。由于PSNR和SSIM不能客观的评判生成图像的视觉效果,本文采用人脸定位和人脸分割两种评判指标进一步评估生成图像的视觉效果。而且本文算法,不仅能够针对中间大面积遮挡的低分辨率图像有良好的超分辨率重建效果,对于随机的大面积遮挡同样也能得到不错的修复效果,证明本文算法具有较强的鲁棒性。

复杂场景下的车牌识别算法研究

这是一篇关于复杂环境,车牌定位,车牌识别,低光图像增强,超分辨率重建的论文, 主要内容为车牌识别技术是智能交通系统的核心技术之一,可有效提高交通运输的智能化水平,增强交通安全性和效率。通过车牌识别技术可以实现对车辆的自动监控和管理,减少交通违规事故的发生。此外,还可应用于智能停车管理、城市道路收费和车辆安防等领域,对城市管理和安全生产具有重要意义。然而,现有的车牌识别技术会受到光照变换、拍摄角度和拍摄距离多变、运动模糊等多种因素的限制,导致复杂环境下识别精度较低。此外,基于深度学习的车牌识别技术也存在着训练数据缺失以及训练样本失衡等问题。因此,本文围绕复杂环境下车牌识别方法展开研究,旨在提高车牌定位和识别的精度和鲁棒性,助力提高智能交通系统的运行效率和管理水平。具体内容包括:(1)针对车牌样本失衡、拍摄角度和拍摄距离多变、运动模糊等多种因素导致的车牌定位困难和识别精度低的问题,提出了一种复杂环境下车牌定位和识别方法。首先,通过循环生成对抗网络对合成车牌图像进行风格迁移,解决了训练样本不均衡问题。其次,提出了一种基于MF-Rep Unet车牌定位方法,将改进的VGG结构和特征金字塔融入U-Net模型,弥补了车牌定位中小目标车牌和倾斜车牌容易漏检的缺陷。最后,通过注意力机制协助循环神经网络改善因图像质量退化导致的语义特征模糊问题,提高字符识别的准确率。(2)针对昏暗和模糊场景下车牌图像质量差、识别精度低等问题,提出了一种基于低光增强和超分辨率重建预处理的车牌识别方法。首先,提出了一种基于Retinex理论的低光车牌图像增强方法,针对噪声问题设计Multiscale-SE反射网络模块,采用多分支卷积和通道注意力机制提取重要图像特征,解决了过度下采样导致的光晕问题。其次,提出了一种基于超分辨率重建的模糊车牌修复方法,通过引入BLSTM建立字符序列前后关联,联合使用L1和梯度轮廓损失函数强化字符边缘轮廓,有效提高车牌识别精度。最后,利用多尺度卷积改进特征提取层,提高模型的特征提取能力。(3)基于前文所述理论和算法,结合实际业务需求,设计并开发了一个适用于复杂环境的车牌识别系统,采用Py Qt、Open CV和Pytorch深度学习框架作为核心技术,为车牌识别系统的应用提供了便捷和高效的解决方案。

基于深度可解释网络的高光谱图像超分辨率重建方法研究

这是一篇关于高光谱图像,超分辨率重建,非局部自相似性,可解释神经网络,图像融合的论文, 主要内容为高光谱图像兼具真实场景下空间以及光谱信息,它以数十至数百个连续且细分的光谱波段对目标区域同时成像,在遥感、航空航天以及勘探等领域都发挥着至关重要的作用。然而,由于半导体及芯片等硬件条件的限制,通常很难获得高空间分辨率和高光谱分辨率的图像,因此进行超分辨率重建是解决这一问题的有效方法。近年来利用辅助图像与高光谱图像融合进行超分辨率重建的方法引起了广泛地关注。这种基于融合的方法主要有传统方法和基于深度学习的方法两大类。传统的融合方法复杂度较高,效果不够理想,随着深度学习的引入,这类不足得到了一定的弥补。而基于深度学习的方法往往存在可解释性不够强,以及对一些重要先验利用不足。因此,针对以上问题,本文在深度学习框架下提出了基于深度可解释网络的高光谱图像超分辨率重建方法。一是提出了一种基于迭代阈值收缩算法(ISTA)的可解释光谱图像辅助融合方法,用来提升网络的可解释性以及利用图像变换域的信息。本文将可解释性极高的ISTA展开网络作为网络模块嵌入MHF-Net中,构建了一个具备高度可解释性的深度网络结构。本方法首先根据高光谱图像观测模型构建融合问题模型,然后利用ISTA算法对其进行迭代求解,然后展开为深度可解释网络。由于本方法在网络模型中加入了对称约束,使网络可以更好地利用高光谱图像变换域的信息,以便提取更丰富的特征进行重建。最后通过实验证明本研究提出网络结构的有效性以及其取得的良好重建结果。二是提出了一种基于非局部相似性的可解释光谱图像辅助融合方法,用来对高光谱图像的高频信息加以利用。本文提出了一种新的融合模型,增加了高光谱图像非局部先验的约束。得到融合模型后,利用非局部自回归模型指导深度可解释网络的设计,并将非局部正则化集成为网络框架内的可训练模块。由于本方法利用更少的网络层数堆叠获取更丰富的信息,充分利用了图像非局部的相似性,使网络更有效地进行了图像边缘重构,得到了更好的重建效果。最后通过实验证明本方法提出的融合模型的正确性以及可解释网络具备良好的性能及泛化能力。

基于深度学习的DEM超分辨率重建研究与系统实现

这是一篇关于数字高程模型,超分辨率重建,坡度损失,数据生产系统的论文, 主要内容为随着数字地图和地理信息科学的不断发展,高分辨率数字高程模型(DEM)对于许多应用都变得尤为重要,例如土地利用规划、水资源管理、地形分析、生态环境保护和战场规划布局等场景。传统获取DEM的技术包括遥感、陆地测量和航空摄影等,然而,这些技术往往受限于经济成本和精度要求,导致高分辨率DEM很难获得。为了解决这个问题,本文采用基于深度学习的超分辨率重建模型来提高DEM的分辨率,并结合模型功能,设计并实现了 DEM数据生产系统。系统向用户提供高分辨率DEM数据生产服务。本课题的主要工作如下:(1)对DEM数据预处理方案进行设计,通过分析现有DEM数据预处理方案,发现存在无法获取现实场景下的DEM配对数据集的问题,为解决此问题,本课题设计了一套适用于现实场景下的DEM数据预处理方案,此方案可以获取到现实场景下的DEM配对数据集,有助于解决现实场景下的DEM超分辨率重建问题,对于后续研究或类似任务的数据处理有参考和借鉴意义。(2)对DEM超分辨率重建模型进行研究,利用Meta-RDN模型实现了非整数放大倍数的DEM超分辨率重建模型,提出了地形参数损失函数——坡度损失函数,实验结果证明在DEM超分辨率重建模型中引入此损失函数可以增强模型对于地形特征的学习,提高模型超分辨率重建的效果,满足DEM数据生产系统的功能要求。(3)在实际需求和DEM超分辨率重建模型功能的基础上,按照软件工程规范,完成了需求分析、软件设计、实现编码、系统测试等环节,使用Spring Boot、Vue等主流技术最终实现了一个DEM数据生产系统,为用户提供高分辨率DEM数据生产的服务,具有一定的实用价值,有助于推动DEM超分辨率重建技术的应用和发展。

基于生成对抗网络的显微热成像系统超分辨率重建

这是一篇关于显微热成像,生成对抗网络,超分辨率重建,注意力机制,MobileNet的论文, 主要内容为显微热成像系统可以观测并记录分析细微目标的温度变化过程,在一些基于细微热分析进行无损检测的领域有着广阔的应用前景。课题组前期基于非制冷焦平面探测器和光学微扫描技术搭建了一款新型的光学微扫描显微热成像系统。然而该系统采集的显微热图像存在图像质量差、空间分辨率低等问题。为解决以上问题,本文基于图像处理和深度学习理论,研究图像增强算法与图像超分辨率重建算法,主要工作如下:首先,针对红外显微热图像动态范围大、图像模糊等问题,对传统图像增强算法进行改进,提出一种基于图像预处理、形态学腐蚀及引导滤波的图像增强算法。该算法对图像边缘和非边缘像素分别处理,在增强对比度的同时强化细节,有效改善单一方法不能兼顾图像内部细节和边缘轮廓的问题,仿真及实验结果表明该算法能够改善图像质量,增强图像视觉效果,为后续超分辨率重建提供理论基础。其次,针对红外显微热图像信噪比及空间分辨率低等问题,对SRGAN算法进行改进,提出SMC-SRGAN算法;该算法对SRGAN中生成网络的残差块重新设计,即将原始残差块中的两个BN层删除,将激活函数Re LU替换为SMU,加入CBAM注意力机制。然后,将SMC-SRGAN与四种超分辨率重建算法进行仿真对比分析;最后,将SMC-SRGAN与图像增强算法进行结合,并在实际显微热成像系统上进行验证。最后,针对SMC-SRGAN算法网络参数量大、图像重建时间长等问题,对SRGAN算法进行改进,提出SRGAN-Lightning算法。首先,为提高算法的计算效率和精度,构建SE-Mobile Net V2模块,即在Mobile Net V2的Bottleneck结构中加入注意力机制SEnet,并将其扩充通道第一个1×1卷积层的Channel变为原来的1/4;然后,针对SMC-SRGAN网络层数深、计算量大的问题,将生成网络中的残差块替换为SE-Mobile Net V2,从而得到SRGAN-Lightning;最后将SRGAN-Lightning与包括SMC-SRGAN算法在内的五种算法进行仿真对比分析,结果证明了所提算法的有效性。

钽电容端电极表面裂纹缺陷检测方法研究

这是一篇关于钽电容端电极,超分辨率重建,微裂纹识别,逐步注意力机制的论文, 主要内容为钽电容端电极表面裂纹缺陷严重影响着电容器的使用寿命,在制造过程中及时发现产品裂纹缺陷而降低次品率,是保障钽电容出厂品质的重要环节,具有重要的工程意义。本文针对实际检测环境制约下导致钽电容端电极表面图像分辨率低、同时表面含有高噪声的问题,研究具有选择性的梯度引导图像高保真超分辨率重建预处理方法;针对裂纹不明显、面积占比小等特点造成难以检测的问题,研究基于裂纹轮廓引导特征强化的弱特征微裂纹识别方法,实现对钽电容端电极表面裂纹的准确检测。具体研究工作如下:针对端电极表面图像分辨率低且含有高噪声的问题,对在考虑噪声情况下针对裂纹进行选择性的梯度引导图像重建预处理方法展开研究,实现高保真、高分辨率待检测图像的获取。设计了基于钽电容端电极表面形状特征的待检测图像获取算法,从电极表面图像中精准获取待检测区域图像;提出了具有可解释性的梯度引导图像超分辨率网络模型,模仿人类视觉系统注意机制以逼近像素级分而治之的高保真图像重建效果;设计了微裂纹像素级选择模块并嵌入至图像重建模型中,构建了对裂纹进行有选择性地图像高保真重建网络模型。实验结果表明,本文所提出的预处理方法能够精准获取待检测图像,同时重建后的图像峰值信噪比为44.71d B,结构相似性为0.9771,检测时间约为8.19ms,且微裂纹像素级选择模块一定程度上降低了干扰噪声的影响。针对裂纹不明显难提取且面积占比小特征易丢失的问题,对基于轮廓引导特征强化的弱特征微裂纹识别方法展开研究,实现对端电极表面裂纹的高精度检测。设计了轮廓引导像素级特征强化模块,利用微裂纹轮廓等信息在等分辨率特征层中对裂纹特征进行有效提取、保留与强化;提出了逐步注意力机制下多尺度特征融合模块,在逐步注意力机制下提取并融合特征强化模块中的多尺度特征;设计了微裂纹识别分类模块,从而构建了端电极表面弱特征微裂纹识别模型。实验结果表明,本文所提出的识别方法准确率为99.41%、精度为99.26%、召回率为99.51%、F1分数为99.38%以及受试者工作特征曲线下的面积为99.95%,满足了裂纹检测高精度的要求。以实际企业所提供的钽电容产品为背景,在上述方法的基础上搭建了钽电容端电极表面裂纹视觉检测微服务系统,实现了图像预处理方法、弱特征微裂纹识别方法等的高度集成,并以钽电容端电极表面图像数据集作为案例进行了验证。本文研究成果为钽电容端电极表面裂纹的自动化视觉检测提供了重要的理论方法,对提高钽电容的出厂品质具有重要的实际工程价值。

基于卷积神经网络的遥感图像超分辨率算法研究

这是一篇关于遥感图像,图像处理,超分辨率重建,残差网络,注意力机制的论文, 主要内容为遥感图像通常包含了大量的地面物体信息,在植被覆盖检测、土地监测、灾害监测、城市经济水平评估、资源勘探、森林火灾监测、军事目标打击等方面,具有十分重要的运用价值。遥感图像分辨率是遥感图像所包含信息量的一个重要衡量标准,也是衡量遥感图像质量的重要指标之一。然而,由于硬件设备等限制,提升遥感图像分辨率成本高、难度大,因此从软件方面运用图像处理的方法提高遥感图像分辨率,是遥感图像处理领域的一个重要课题。本文基于目前流行的深度学习与卷积神经网络,对面向遥感图像的超分辨率方法进行研究,具体研究内容如下:(1)在南京市溧乐农场采集无人机遥感图像,构建具有244组高分辨率图像-低分辨率图像的LILE244数据集,用于对本文所提出的方法进行性能验证。(2)针对深度学习模型加深后,训练难度增加、性能退化等问题,提出了一种基于残差网络的遥感图像超分辨率重建方法。模型由浅层特征提取、深层特征提取、上采样三部分组成,在Res Net中残差块的基础上去除了Batch Normalization层,在上采样部分采用亚像素卷积。本方法构建了一个既“宽”又“深”的卷积神经网络模型,在面向通用图像、卫星遥感图像与无人机遥感图像的性能测试结果中在性能指标上超越了其对比方法,并在视觉上取得了良好的效果。(3)为了进一步提升算法的性能,提出了一种基于双向注意力机制的遥感图像超分辨率算法模型。为了进一步加深模型以储存更多的先验信息,本文利用长跳跃连接、短跳跃连接,构建了嵌套残差结构。提出双向注意力模块,其克服了通道注意力机制的缺陷,在竖直、水平两个方向上对特征图进行加权,使得特征图的信息更加高效,从而增加了模型的性能。对模型进行了训练与测试,其对通用图像与遥感图像的超分辨率重建性能超越了前述的方法,实现了更好的图像重建效果。(4)为了提升算法的效率,减小模型的参数量和计算量的同时尽可能维持模型的性能,提出基于选择性通道处理机制的超分辨率轻量级卷积神经网络模型,通过通道选择矩阵,在训练过程中学习各通道的重要程度,在推理过程中忽略对不重要通道的计算,从而减小模型的参数量与运算量。引入了差异化注意力模块,进一步提升模型的性能。对模型进行了训练与测试,在参数量小于1M的前提下,其对通用图像与遥感图像的超分辨率重建性能超越了其对比方法,获得了更好的超分辨率重建效果。

基于改进YOLOv7与GAN算法的智能监控系统设计与实现

这是一篇关于超分辨率重建,目标检测,智能监控系统,GAN,YOLOv7的论文, 主要内容为在石油、化工、冶金等流程行业中,其生产多在高温高压、易燃易爆、有毒有害的高危环境下进行,导致安全生产事故频发。因此,企业在厂区的关键部位采用视频巡检,降低人为因素引发的安全风险,能有效提高安全生产效率。然而据调研,还有很多企业因资金紧张,现场普通摄像头无法升级为高清摄像头。本文针对此问题设计软件系统,在不升级摄像头的基础上,使用改进的GAN算法提高监控视频分辨率,再利用改进YOLOv7算法对GAN算法处理后的视频进行目标识别,实现了用软件方法提高摄像头分辨率并对其进行目标检测,取得较好的效果。本文主要研究工作如下:(1)为提高GAN网络的视觉效果提出了MSFSA-GAN网络:采用多尺度融合增加信息利用率、通过并行卷积与并行残差递归单元重复获取低层和高层特征信息、加入自注意力机制增强特征学习能力以及引入密集块提取特征,改进了损失函数提升视觉效果。提出了MSDF-GAN网络:在生成器中使用RRBB块提取高层特征、四种损失函数重构误差。在公开数据集上进行对比,MAFSA-GAN网络和MSDF-GAN网络的模型均收敛,且通过视觉效果以及PSNR、SSIM、LPIPS三个指标对比,MSDF-GAN网络重建效果更好。(2)为提高小目标检测能力将YOLOv7模型分别与CAM、CBAM注意力机制结合,为减少计算量将上述两种注意力机制改进为L-CAM和CLAM,再与YOLOv7模型融合。对四种改进后的模型在公开安全帽数据集上进行消融实验,YOLOv7-CLAM模型为最优模型,其速度和精度分别为46s、74.36%,相对于YOLOv7精度提升5.83%,速度提升86s,参数量仅增加1.3M,说明改进模型的方法有效。(3)为研发智能监控系统将MSDF-GAN与YOLOv7-CLAM模型结合后得到MGYC模型,经过Make Sense标注自制数据集后训练,训练集和测试集准确率最终稳定在91%和88%,相比其他经典模型速度提高了9.92s～26.15s,平均精度提高了4.82%～17.98%,说明融合后的模型是有效的。此外,使用Py Qt5界面开发库和My SQL数据库研发了SR智能监控系统,实现了对人员、手机、火焰、吸烟和是否佩戴安全帽的实时识别,并对异常目标进行语音报警。