基于深度学习的渔船牌号检测与识别研究

这是一篇关于渔船牌号检测与识别,DBNet,CRNN,多头注意力机制,双路径网络的论文, 主要内容为渔船牌号的检测与识别是提高渔港科学智能化管理的重要技术手段之一,对于解决传统人工监管渔船方式中存在的耗时耗力问题具有重要意义。目前,渔船牌号检测与识别在应用过程中依然存在着各种各样的问题,例如与船牌相关的数据量少、船牌悬挂位置不统一、背景颜色和字符个数不一致以及船牌图片质量差等问题,这些因素很大程度上影响着渔船牌号检测与识别准确率的提升。随着人工智能的发展,深度学习技术不断进步,渔船牌号检测与识别所面临的问题在慢慢得到解决。深度学习具有较强的学习能力和泛化能力,可以提高监控视频中的渔船牌号检测与识别的精确度和鲁棒性。本文通过研究文字检测网络算法DBNet和文字识别算法CRNN,完成了渔船牌号检测数据集和渔船牌号文字识别数据集的制作、渔船牌号的检测和识别算法的改进等。本文的主要研究内容如下:(1)提出了一种融合双路径网络和卷积注意力模块的可微二值化网络(Differentiable Binarization network with Dual Path Networks and convolutional block attention module,DP-CBAM-DBNet)的渔船牌号文本检测方法,该方法是将卷积注意力模块(convolutional block attention module,CBAM)加入到双路径网络(Dual Path Networks,DPN)中并将其一同替换掉DBNet网络中原始的特征提取部分,通过改进后的特征提取层进行特征提取,获得更多渔船牌号的细节特征,从而提升总体渔船牌号文本检测准确率。针对自然场景下的渔船牌号图像存在位置变化不规律、颜色背景不统一、船牌图片边界不清晰等问题,本文在DBNet网络的基础上进行研究和改进,实现了基于上述问题情景下的渔船牌号图片的检测,提高了渔船牌号文本检测的精准率。DP-CBAM-DBNet模型与原始网络采用Res Net18和Res Net50网络的方法,在检测准确率有2.54%和1.49%的提升,并且模型参数量相比于Res Net18时模型参数量仅增加了1M,相比于Res Net50时减小了11.9M,由此可以得出,DP-CBAM-DBNet模型在检测渔船牌号方面有较好的性能。(2)提出了一种融合多头注意力机制的卷积循环神经网络(Convolutional Recurrent Neural Network with Multi-head-attention Mechanism,MHA-CRNN)的渔船牌号文字识别方法。该方法首先是对卷积层进行优化,将性能良好的Res Net网络替换掉模型参数较高且消耗更多计算资源的VGG16网络,同时将Res Net网络中的Re LU激活函数更新为Mish激活函数,从而使得更多的数据可以加入到网络的训练中,进而使得模型拥有更佳的精确度与泛化能力;其次对循环层进行优化,在循环层中融合了多头注意力机制(Multi-head-attention Mechanism,MHA),能更加有效的获取长文本字符之间的依赖关系,可以得到渔船牌号文字不同维度的特征。针对渔船牌号长度不一、渔船牌号图像不清晰等问题,本文在CRNN网络的基础上进行了研究和改进,提高了渔船牌号识别的准确率。MHA-CRNN网络与原始CRNN网络相比,在准确率方面综合提升了11.53%,因此,该模型在渔船牌号文字识别方面有较好的识别能力。(3)设计并实现了渔船牌号检测与识别系统。采用改进后的渔船牌号文本检测DP-CBAM-DBNet模型和改进后的渔船牌号文字识别MHA-CRNN模型,实现了一种两阶段双模型的渔船牌号检测和识别方法。基于渔港周围的高点视频监控数据,针对渔船禁渔期渔船违规出海捕捞、渔船不在规定母港停靠的现象,实现了对渔船的动态可视化智能监管,同时海上监管的滞后性得到有效解决,能够对违规渔船进行有效查处,辅助相关管理部门对渔港的科学智能化管理,降低相关部门在渔港监管方面各种资源的耗费。

基于智能批阅的教学助手平台的设计与实现

这是一篇关于智能批阅,文本检测,文本识别,DBNet,CRNN的论文, 主要内容为在线作业批阅系统是为班级学生和任课教师提供服务的一种教学网络平台,任课教师利用此网络平台布置作业,系统将作业分发给指定班级或学生。教师可以获取作业的统计情况,选择已提交作业进行批阅,并反馈信息给学生。学生将账号与班级进行绑定,在线获取所有的课程作业,提交作业的同时由系统对作业状态进行更新,有效避免遗漏作业,实现作业的交互处理。本教学助手平台以Web端作为后台管理系统,采用微服务架构和Vue.js框架进行开发,管理教育局、学校、班级、师生及应用信息,并显性控制企业微信小程序和微信小程序的使用及停用;企业微信作为教师的工作平台,主要功能包括作业布置、作业详情、作业统计和作业批阅等;微信小程序作为家长及学生的学习平台,主要功能包括作业列表、作业完成和作业墙等;后端采用Spring Boot框架,数据库采用My SQL、Redis和Mongo DB以实现整个系统的大数据存储和实时云计算的需求,致力于为师生提供完善的在线作业全场景解决方案。本教学助手平台为教师提供数学速算智能批阅服务,该服务主要包含三个模块,分别是文本检测、文本识别和计算推演。该服务的文本检测模块采用基于分割算法的DBNet,在网络结构中加入CBAM注意力机制模块,提高各个特征在通道和空间上的联系,更有利于提取目标的有效特征;该服务的文本识别模块采用CRNN和CTC框架,针对小学作业扭曲字体的场景,在其中加入STN(空间转换网络)处理扭曲字符,并使用Bi LSTM和改进的En CTC模型,以提升网络的识别能力;该服务的计算推演模块设计并实现了一个自定义字符串计算器,对文本识别阶段识别的计算题文本进行计算,验证计算结果的正确性。该数学速算智能批阅服务可以对作业进行自动识别和判分,批改精准度达到98%。

轻量级柱面电线杆标识牌字符识别算法研究与集成实现

这是一篇关于电线杆标识牌,柱面图像矫正,轻量级网络,字符识别,DBNet的论文, 主要内容为电线杆标识牌作为供电部门进行电网管理的重要参考标识,记录着电线杆编号、所属线路、供电公司等信息,是设备风险排查定位及输电线路优化的重要依据;准确、高效地提取电线杆标识牌信息是电力基础设施信息采集和后续数据分析的重要基础;基于移动智能终端自动化、轻量化、智能化采集方式成为提高电网运营管理作业效率的重要手段,对于降低电网运营管理成本、促进国家电网智能化建设均具有重要意义。目前,电线杆标识牌图像字符识别难点主要在柱面类型电线杆标识牌识别多出现边缘字符漏检、误识的问题,字符识别正确率较差;深度学习模型参数量和计算量较大,无法满足移动智能终端轻量化、实时化作业需求。本文采用几何图像矫正和深度神经网络,研究并实现了面向柱面电线杆标识牌的轻量级文本检测和字符识别模型,并搭建原型系统完成实际场景实验测试。主要研究成果如下:(1)构建了特定识别数据集并设计了一种基于反投影的柱面图像矫正预处理方法。采用实地拍摄、网络爬取和权威发布三种方式构建真实柱面电线杆标识牌数据集并完成标注;针对柱面电线杆标识牌边缘两侧像素压缩问题,提出了一种基于反投影的柱面图像矫正预处理方法,在水平方向和垂直方向上投影建模,设计了投影矫正方程,按像素将柱面图像转化为平面图像。矫正后电线杆标识牌字符识别正确率相比直接识别提升了40.3%。(2)提出了基于分割的轻量级电线杆标识牌文本检测模型Tiny-DBNet。利用深度可分离卷积,融合注意力机制构建轻量级特征提取网络,不同层级特征融合后再连接DBNet可微分二值化模块,按照可学习方式获取自适应阈值,进行文本和非文本的分割。采用真实柱面电线杆标识牌数据和公开数据集进行实验验证,Tiny-DBNet在下降0.60%的微小识别精度损失下,检测速度提升3倍,参数规模上总体下降45.15%,满足轻量化手持端快速检测的需求。(3)优化改进了基于CRNN的字符识别模型。研究特征提取网络、文本检测网络、字符识别网络最优组合方案,实现了轻量级电线杆标识牌识别融合模型Tiny-DBNet-CRNN,改变了模块零散、低耦合的结构,降低了训练层次与冗余操作。在单处理和批处理模式下识别一张电线杆标识牌耗时达到1s量级,识别准确率达到95%以上,为实现系统模块集成和手持端图像采集应用提供了核心算法支撑。(4)搭建电线杆标识牌字符识别原型系统并进行场景验证分析。设计“现场采集模式、后台处理模式、单处理模式、批处理模式”四种模式和“数据层-算法层-集成层-展示层”四层架构的电线杆标识牌信息采集原型系统,并在以“H5小程序”的形式部署。取50张柱面和平面电线杆标识牌,在实际街道上进行效果验证,有48张标识牌数据文本字符全部输出,形成了场景应用普适性强、算法识别精准度高、字符识别速度快的电线杆标识牌集成系统。综上所述,本文针对柱面电线杆标识牌字符识别,设计了包括柱面矫正、文本检测、字符识别算法,通过实验验证了模型的可靠性,通过了实际场景验证与应用,有效提高电线杆标牌采集作业效率与识别精度,降低了电网运营管理成本,促进了国家电网智能化建设。

基于深度学习的数字水表读数检测与识别研究

这是一篇关于数字式水表,目标检测,DBNet,GhostNet,注意力机制的论文, 主要内容为随着科技的不断发展,社会上出现了许多智能水表。但是,全面使用智能水表代替传统的老式水表需要耗费大量的人力、物力和财力,需要重新购买新的设备,并构建对应的智能水表水务管理系统。因此,这个改造过程是比较缓慢的。传统的老式水表因其价格低廉、对用水量精准的计量以及稳定的供应和销售渠道,在市场上仍然占据主要的地位。但是,老式水表需要依靠人工上门进行抄表,这会耗费大量的人力和物力,并且效率低下。此外,由于人工的身体状况不同,抄表存在误差。为了解决这些问题,本文的研究内容是基于深度学习方法构建数字式水表图像中读数区域检测与读数区域数字识别的模型,并基于该模型开发了水表读数识别系统。本文的主要研究内容及工作如下:针对数字式水表图像因安装位置所处的环境、拍摄的角度和光线以及破损程度等因素而影响读数区域部分检测精度的问题,本文提出了一种改进的DBNet网络的数字水表读数区域检测算法。首先,在主干网络中加入了一条自底向上的路径,减少了信息传播时经过的层数,增强了FPN的特征提取能力;其次,在主干网络中加入了卷积块注意力机制,提高了数字式水表特征图像的质量,同时减少了网络参数量;接着,基于贝塞尔曲线对DBNet网络模型训练后得到的二值化图像进行处理,得到平滑的读数区域图像。最后,本文分别在主干网络中使用Res Net50和Mobile Net V3进行对比实验,实验表明,使用Res Net50作为主干网络检测单张水表图片的时间是使用Mobile Net V3作为主干网络的时间的3倍。为解决数字式水表图像读数区域内数字存在遮挡、模糊以及双半字符的问题,本文提出了一种基于改进YOLOv5s的数字式水表读数区域数字识别算法。具体地,本文将Ghost Net网络中的Ghost Bottleneck结构替换了YOLOv5s算法中的C3模块,从而减少了训练时所需的参数量和计算量,使得该算法在水表读数识别系统中的模型更加轻量化,识别速度更快。同时,本文将轻量级的新型协调注意力机制CA加入主干网络中,并放置于原始YOLOv5s网络结构中C3模块后面,以提高网络的特征提取能力。在此基础上,本文将EIo U损失函数替换了原始YOLOv5s算法的CIo U损失函数,从而增强了模型的收敛速度,并专注于先验框的回归。本文开发了一款水表读数识别系统,其中包括基于改进DBNet网络的数字式水表读数区域检测算法和改进YOLOv5s的数字式水表读数区域数字识别算法。除了数字式水表图像中的读数区域检测和读数区域数字识别功能外,水表读数识别系统还设计了其他功能模块,例如用户管理、数据存储以及数据维护等功能模块。本文将数字式水表读数区域检测算法和读数区域数字识别算法应用在水表读数识别系统上进行了测试,并验证了算法的检测精度以及水表读数识别系统的可行性。综上所述,本文针对传统老式水表抄表效率低下、误差率高等问题,提出了改进的DBNet网络的数字水表读数区域检测算法和基于改进YOLOv5s的数字式水表读数区域数字识别算法,并开发了一款水表读数识别系统。实验结果表明,本文提出的算法在数字式水表图像中的读数区域检测和数字识别方面具有较高的准确性和实用性。同时,水表读数识别系统的其他功能模块也得到了充分的考虑,使得整个系统能够更好地服务于水务管理。

基于深度学习的渔船牌号检测与识别研究

这是一篇关于渔船牌号检测与识别,DBNet,CRNN,多头注意力机制,双路径网络的论文, 主要内容为渔船牌号的检测与识别是提高渔港科学智能化管理的重要技术手段之一,对于解决传统人工监管渔船方式中存在的耗时耗力问题具有重要意义。目前,渔船牌号检测与识别在应用过程中依然存在着各种各样的问题,例如与船牌相关的数据量少、船牌悬挂位置不统一、背景颜色和字符个数不一致以及船牌图片质量差等问题,这些因素很大程度上影响着渔船牌号检测与识别准确率的提升。随着人工智能的发展,深度学习技术不断进步,渔船牌号检测与识别所面临的问题在慢慢得到解决。深度学习具有较强的学习能力和泛化能力,可以提高监控视频中的渔船牌号检测与识别的精确度和鲁棒性。本文通过研究文字检测网络算法DBNet和文字识别算法CRNN,完成了渔船牌号检测数据集和渔船牌号文字识别数据集的制作、渔船牌号的检测和识别算法的改进等。本文的主要研究内容如下:(1)提出了一种融合双路径网络和卷积注意力模块的可微二值化网络(Differentiable Binarization network with Dual Path Networks and convolutional block attention module,DP-CBAM-DBNet)的渔船牌号文本检测方法,该方法是将卷积注意力模块(convolutional block attention module,CBAM)加入到双路径网络(Dual Path Networks,DPN)中并将其一同替换掉DBNet网络中原始的特征提取部分,通过改进后的特征提取层进行特征提取,获得更多渔船牌号的细节特征,从而提升总体渔船牌号文本检测准确率。针对自然场景下的渔船牌号图像存在位置变化不规律、颜色背景不统一、船牌图片边界不清晰等问题,本文在DBNet网络的基础上进行研究和改进,实现了基于上述问题情景下的渔船牌号图片的检测,提高了渔船牌号文本检测的精准率。DP-CBAM-DBNet模型与原始网络采用Res Net18和Res Net50网络的方法,在检测准确率有2.54%和1.49%的提升,并且模型参数量相比于Res Net18时模型参数量仅增加了1M,相比于Res Net50时减小了11.9M,由此可以得出,DP-CBAM-DBNet模型在检测渔船牌号方面有较好的性能。(2)提出了一种融合多头注意力机制的卷积循环神经网络(Convolutional Recurrent Neural Network with Multi-head-attention Mechanism,MHA-CRNN)的渔船牌号文字识别方法。该方法首先是对卷积层进行优化,将性能良好的Res Net网络替换掉模型参数较高且消耗更多计算资源的VGG16网络,同时将Res Net网络中的Re LU激活函数更新为Mish激活函数,从而使得更多的数据可以加入到网络的训练中,进而使得模型拥有更佳的精确度与泛化能力;其次对循环层进行优化,在循环层中融合了多头注意力机制(Multi-head-attention Mechanism,MHA),能更加有效的获取长文本字符之间的依赖关系,可以得到渔船牌号文字不同维度的特征。针对渔船牌号长度不一、渔船牌号图像不清晰等问题,本文在CRNN网络的基础上进行了研究和改进,提高了渔船牌号识别的准确率。MHA-CRNN网络与原始CRNN网络相比,在准确率方面综合提升了11.53%,因此,该模型在渔船牌号文字识别方面有较好的识别能力。(3)设计并实现了渔船牌号检测与识别系统。采用改进后的渔船牌号文本检测DP-CBAM-DBNet模型和改进后的渔船牌号文字识别MHA-CRNN模型,实现了一种两阶段双模型的渔船牌号检测和识别方法。基于渔港周围的高点视频监控数据,针对渔船禁渔期渔船违规出海捕捞、渔船不在规定母港停靠的现象,实现了对渔船的动态可视化智能监管,同时海上监管的滞后性得到有效解决,能够对违规渔船进行有效查处,辅助相关管理部门对渔港的科学智能化管理,降低相关部门在渔港监管方面各种资源的耗费。

基于智能批阅的教学助手平台的设计与实现

这是一篇关于智能批阅,文本检测,文本识别,DBNet,CRNN的论文, 主要内容为在线作业批阅系统是为班级学生和任课教师提供服务的一种教学网络平台,任课教师利用此网络平台布置作业,系统将作业分发给指定班级或学生。教师可以获取作业的统计情况,选择已提交作业进行批阅,并反馈信息给学生。学生将账号与班级进行绑定,在线获取所有的课程作业,提交作业的同时由系统对作业状态进行更新,有效避免遗漏作业,实现作业的交互处理。本教学助手平台以Web端作为后台管理系统,采用微服务架构和Vue.js框架进行开发,管理教育局、学校、班级、师生及应用信息,并显性控制企业微信小程序和微信小程序的使用及停用;企业微信作为教师的工作平台,主要功能包括作业布置、作业详情、作业统计和作业批阅等;微信小程序作为家长及学生的学习平台,主要功能包括作业列表、作业完成和作业墙等;后端采用Spring Boot框架,数据库采用My SQL、Redis和Mongo DB以实现整个系统的大数据存储和实时云计算的需求,致力于为师生提供完善的在线作业全场景解决方案。本教学助手平台为教师提供数学速算智能批阅服务,该服务主要包含三个模块,分别是文本检测、文本识别和计算推演。该服务的文本检测模块采用基于分割算法的DBNet,在网络结构中加入CBAM注意力机制模块,提高各个特征在通道和空间上的联系,更有利于提取目标的有效特征;该服务的文本识别模块采用CRNN和CTC框架,针对小学作业扭曲字体的场景,在其中加入STN(空间转换网络)处理扭曲字符,并使用Bi LSTM和改进的En CTC模型,以提升网络的识别能力;该服务的计算推演模块设计并实现了一个自定义字符串计算器,对文本识别阶段识别的计算题文本进行计算,验证计算结果的正确性。该数学速算智能批阅服务可以对作业进行自动识别和判分,批改精准度达到98%。

基于智能批阅的教学助手平台的设计与实现

这是一篇关于智能批阅,文本检测,文本识别,DBNet,CRNN的论文, 主要内容为在线作业批阅系统是为班级学生和任课教师提供服务的一种教学网络平台,任课教师利用此网络平台布置作业,系统将作业分发给指定班级或学生。教师可以获取作业的统计情况,选择已提交作业进行批阅,并反馈信息给学生。学生将账号与班级进行绑定,在线获取所有的课程作业,提交作业的同时由系统对作业状态进行更新,有效避免遗漏作业,实现作业的交互处理。本教学助手平台以Web端作为后台管理系统,采用微服务架构和Vue.js框架进行开发,管理教育局、学校、班级、师生及应用信息,并显性控制企业微信小程序和微信小程序的使用及停用;企业微信作为教师的工作平台,主要功能包括作业布置、作业详情、作业统计和作业批阅等;微信小程序作为家长及学生的学习平台,主要功能包括作业列表、作业完成和作业墙等;后端采用Spring Boot框架,数据库采用My SQL、Redis和Mongo DB以实现整个系统的大数据存储和实时云计算的需求,致力于为师生提供完善的在线作业全场景解决方案。本教学助手平台为教师提供数学速算智能批阅服务,该服务主要包含三个模块,分别是文本检测、文本识别和计算推演。该服务的文本检测模块采用基于分割算法的DBNet,在网络结构中加入CBAM注意力机制模块,提高各个特征在通道和空间上的联系,更有利于提取目标的有效特征;该服务的文本识别模块采用CRNN和CTC框架,针对小学作业扭曲字体的场景,在其中加入STN(空间转换网络)处理扭曲字符,并使用Bi LSTM和改进的En CTC模型,以提升网络的识别能力;该服务的计算推演模块设计并实现了一个自定义字符串计算器,对文本识别阶段识别的计算题文本进行计算,验证计算结果的正确性。该数学速算智能批阅服务可以对作业进行自动识别和判分,批改精准度达到98%。

基于深度学习的数字水表读数检测与识别研究

这是一篇关于数字式水表,目标检测,DBNet,GhostNet,注意力机制的论文, 主要内容为随着科技的不断发展,社会上出现了许多智能水表。但是,全面使用智能水表代替传统的老式水表需要耗费大量的人力、物力和财力,需要重新购买新的设备,并构建对应的智能水表水务管理系统。因此,这个改造过程是比较缓慢的。传统的老式水表因其价格低廉、对用水量精准的计量以及稳定的供应和销售渠道,在市场上仍然占据主要的地位。但是,老式水表需要依靠人工上门进行抄表,这会耗费大量的人力和物力,并且效率低下。此外,由于人工的身体状况不同,抄表存在误差。为了解决这些问题,本文的研究内容是基于深度学习方法构建数字式水表图像中读数区域检测与读数区域数字识别的模型,并基于该模型开发了水表读数识别系统。本文的主要研究内容及工作如下:针对数字式水表图像因安装位置所处的环境、拍摄的角度和光线以及破损程度等因素而影响读数区域部分检测精度的问题,本文提出了一种改进的DBNet网络的数字水表读数区域检测算法。首先,在主干网络中加入了一条自底向上的路径,减少了信息传播时经过的层数,增强了FPN的特征提取能力;其次,在主干网络中加入了卷积块注意力机制,提高了数字式水表特征图像的质量,同时减少了网络参数量;接着,基于贝塞尔曲线对DBNet网络模型训练后得到的二值化图像进行处理,得到平滑的读数区域图像。最后,本文分别在主干网络中使用Res Net50和Mobile Net V3进行对比实验,实验表明,使用Res Net50作为主干网络检测单张水表图片的时间是使用Mobile Net V3作为主干网络的时间的3倍。为解决数字式水表图像读数区域内数字存在遮挡、模糊以及双半字符的问题,本文提出了一种基于改进YOLOv5s的数字式水表读数区域数字识别算法。具体地,本文将Ghost Net网络中的Ghost Bottleneck结构替换了YOLOv5s算法中的C3模块,从而减少了训练时所需的参数量和计算量,使得该算法在水表读数识别系统中的模型更加轻量化,识别速度更快。同时,本文将轻量级的新型协调注意力机制CA加入主干网络中,并放置于原始YOLOv5s网络结构中C3模块后面,以提高网络的特征提取能力。在此基础上,本文将EIo U损失函数替换了原始YOLOv5s算法的CIo U损失函数,从而增强了模型的收敛速度,并专注于先验框的回归。本文开发了一款水表读数识别系统,其中包括基于改进DBNet网络的数字式水表读数区域检测算法和改进YOLOv5s的数字式水表读数区域数字识别算法。除了数字式水表图像中的读数区域检测和读数区域数字识别功能外,水表读数识别系统还设计了其他功能模块,例如用户管理、数据存储以及数据维护等功能模块。本文将数字式水表读数区域检测算法和读数区域数字识别算法应用在水表读数识别系统上进行了测试,并验证了算法的检测精度以及水表读数识别系统的可行性。综上所述,本文针对传统老式水表抄表效率低下、误差率高等问题,提出了改进的DBNet网络的数字水表读数区域检测算法和基于改进YOLOv5s的数字式水表读数区域数字识别算法,并开发了一款水表读数识别系统。实验结果表明,本文提出的算法在数字式水表图像中的读数区域检测和数字识别方面具有较高的准确性和实用性。同时,水表读数识别系统的其他功能模块也得到了充分的考虑,使得整个系统能够更好地服务于水务管理。