一种新型图像拼接压缩系统设计

这是一篇关于图像拼接,SIFT,图像压缩,JPEG2000,FPGA的论文, 主要内容为随着信息化时代的发展,各领域对大视场高分辨率图像的需求日益提高。单幅图像在大视场和高分辨率之间的矛盾,可由图像拼接技术通过将有重叠信息的多幅图像拼接为一幅图像而有效解决。然而拼接结果图像相较于原始图像,在信息总量上有明显的增长,从而导致存储图像所需的存储资源或传输图像所需的带宽资源也急剧增大,不利于对图像的实时处理。因此,如何实现图像的实时拼接与压缩具有非常重要的研究意义。为满足上述需求,本文设计一种基于FPGA的新型图像拼接压缩系统,从而实现在满足大视场和高分辨率的同时对图像数据进行有效的压缩,便于后续的传输与存储。图像拼接部分采用SIFT算法作为核心配准算法,作为局部不变性特征描述算法中性能最佳的算法之一,该算法配准性能优秀,但存在结构复杂、处理速度慢的局限性。本文首先针对该问题对SIFT算法各模块进行合理简化和并行设计,包括简化的二维高斯滤波模块、基于同心圆邻域的特征点描述模块等,降低了算法复杂度,实现了处理速度的提升。其次,本文通过多路并行的特征点匹配模块提高匹配速度,并通过简化的单应性矩阵降低了RANSAC算法的运算复杂度。最后,对基于双线性插值和加权融合的图像融合算法进行电路设计,有效消除了图像间的拼接缝。至此,实现了从图像配准到图像融合的拼接全过程。对于图像压缩部分,本文选取JPEG2000标准进行实现。作为新一代静态图像压缩标准,JPEG2000拥有压缩比高、有损压缩与无损压缩均可支持的优势,但高复杂度严重制约了其编码速度。针对该问题,本文对其核心计算模块EBCOT Tier-1编码器进行了重点优化设计,提出压缩上下文的数据组织方法,并通过新型PET存储方式在简化逻辑的同时减小存储的Qe位数,从而减小了Tier-1编码器的硬件资源消耗;同时采用4路Tier-1并行工作的设计,大幅提升吞吐率。本文设计的系统在Xilinx Kintex-7 KC705开发板上进行测试。结果表明,系统在实现图像连续实时拼接的同时,也实现了对结果数据的有效压缩。系统对两幅640×480分辨率图像拼接与压缩处理的帧率可达30fps以上,满足了实时拼接与压缩的要求,具有较高的应用价值。

基于深度学习的图像拼接技术研究

这是一篇关于深度学习,图像拼接,单应性估计,多尺度特征,超分辨率重建的论文, 主要内容为图像拼接是将两幅或多幅图像转换拼接成一个大视野的全景图像技术,被广泛应用于各个领域,例如工业生产领域的图像监测、智能制造领域、医学领域器官图像立体分析等。然而,在图像拼接任务中仍然存在很多技术难题。传统的单应性矩阵估计方法,严重依赖于手工提取特征点,对于弱纹理,低光照图像的特征点信息提取不充分,导致此类图像的拼接容易出现伪影的现象;采用卷积神经网络进行图像拼接时,卷积操作感受野小,缺乏全局信息,在大视差拼接的结果中存在拼接错位问题。本文引入CA注意力机制,解决图像特征点信息提取不充分问题;引入非局部机制,解决感受野小引起的拼接伪影等问题。主要研究内容和创新点为:1.提出了一种基于深度学习的单应性矩阵估计网络算法。现有的算法利用特征金字塔进行单应性矩阵估计,虽然将高层和底层的特征进行结合利用,但是同一层特征信息提取并不充分,通过引入CA注意力机制,对精确位置信息与通道关系和长期依赖性进行编码,可以增强网络的注意力,提高图像特征表达能力。2.提出了一个基于超分辨率重建的图像融合网络算法。待拼接图像通过上述单应性矩阵估计网络变形后,要通过图像融合网络进行最后拼接。针对网络中卷积操作感受野小的问题,引入非局部模块,增大卷积神经网络感受野,来获取待拼接图像中更有用的信息,改善视差过大带来的拼接错位问题。为了更好的通过接缝蒙版学习拼接过程,设计了一个新的接缝线损失函数,结合了 Mix损失函数,Mix损失函数是MS-SSIM和L1函数的结合体,能够更好地保持高频区域的对比度。并保留了颜色和亮度和局部结构。3.完成图像拼接模块的设计,并利用后端开发技术对算法进行了封装和集成,同时设计了供web调用的API,作为工业互联网的智能检测系统的一个微服务模块,部署在服务器上,验证了算法的可行性。

基于双目相机的实时拼接成像系统实现

这是一篇关于图像预处理,图像拼接,实时图像,自适应阈值,FPGA,并行算法的论文, 主要内容为图像实时拼接技术是机器视觉以及数字图像处理领域内研究的重点课题之一,将两幅或多幅存在图像畸变和亮度差异的实时图像无拼接缝拼接成视觉效果良好的实时图像是研究人员目前追求的目标。近些年来,随着许多不同架构平台的出现与快速更新发展,实时图像拼接技术越来越得到广泛关注,实时图像拼接系统也在不断涌现。虽然近年来基于多种不同处理器架构的实时图像拼接系统不断出现和快速更新发展,但仍不能满足探测和搜救工作中对较高分辨率、较高帧率和较大视场实时拼接图像的需求,对数据量较大的实时图像拼接无法做到不丢帧。由于现场可编程门阵列(Field Programmable Gate Array,FPGA)具有很好的并行处理能力,对于实时图像连续帧处理延迟低,极大地提高了算法处理效率,因而本文中采取基于FPGA的并行处理技术来进行实时图像预处理以及实时图像的配准、融合和输出。本文设计的硬件平台和改进的拼接算法可以对探测和搜救场景下分辨率为1920×1080～3840×2160、帧率40～60帧每秒的两幅实时图像预处理和配准融合处理,最终拼接成一幅实时图像。本文的主要工作如下:1、针对传统的直方图均衡化过程繁琐,图像重投影和低通滤波去噪后会改变图像角点特征的问题,设计了亮、正常、暗三个分区的直方图均衡化并行算法进行图像增强和图像亮度预处理,校正两幅实时图像之间的亮度差异。同时使用改进的静态网格进行图像重投影,不再使用网格的局部变换参数,而是在使用整体变换参数的前提下矫正图像畸变,之后使用双三次插值剔除部分噪点,通过多路并行的方式计算插值结果,这种方法在保护图像中的角点特征和局部物体形状前提下加速了算法。2、针对基于Harris角点检测和归一化互相关算法的传统拼接方法仅仅可以改善实时图像中场景变化较快时出现的图像匹配较慢的现象,却无法解决大量特征点误检、误匹配和计算量较大的问题。采用自适应阈值和联合平均绝对值法,不再使用除法和开方运算,用乘法加比较响应值分子分母的方法来改善图像配准结果,通过该方法在提高图像拼接质量的同时,减少图像场景变化较快时的匹配延迟,拼接出现重影、伪影和错误配准的概率。同时采用投影变换拟合方法进行图像对齐,使图像拼接结果较为平整。由于采用最小二乘法估算变换参数的方法,因而在求解图像变换参数过程中更易排除误匹配点,简化了计算过程,加快了算法实现速度。3、结合实际需求,设计了图像采集模块、图像预处理模块、图像拼接模块和图像输出模块,分模块完成了它们的原理图和PCB设计。设计基于FPGA的串口命令通信,设计了基于HDMI的TMDS输出模块,在已有的可以单目单独和双目整体水平转动的相机机械结构基础上,设计了初始和聚焦两种双目相机工作模式,重点设计了两路相机数据输出以及模块间数据的传输过程,详细设计了图像帧同步和图像数据缓存。通过把在FPGA上实现的并行图像预处理和实时图像拼接算法与在MATLAB上实现的相同算法做比较,分析不足之处,然后不断改进算法实现方式,减少资源占用率,得到一种可以实现实时图像拼接、拼接实现速度快、拼接视觉效果良好的可单目转动的双目相机拼接成像系统。综上所述,本文对图像拼接技术在FPGA上和图像拼接理论在实时探测领域的应用作了详细探讨,围绕图像实时预处理、图像实时配准和图像实时融合等关键问题做了研究和并行化设计,搭建了基于FPGA的实时图像拼接成像系统。

双目图像拼接及测距技术研究

这是一篇关于双目测距,单目测距,图像拼接,自适应图像裁切的论文, 主要内容为双目测距是计算机视觉领域中的研究热点内容之一,其在辅助驾驶和无人机避障等场景下均有较为广泛的应用。随着该技术在实际应用方面的不断发展,人们希望双目测距的感知范围变得更大,使辅助驾驶系统更早发现行人和车辆,机器人感知到更大范围内的障碍物。传统双目测距技术只能对双目图像部分内容求取距离信息,使测距视野小于采集图像视野范围。对此本文在双目测距技术中融入单目测距与图像拼接算法,最终实现双目图像全景测距。全景测距试验平均相对误差率为3.05%,在保证精度的前提下扩展了双目测距的横向视野范围。本文主要研究内容如下:(1)基于改进PSM-Net的双目测距双目测距主要分为相机标定、图像校正、立体匹配和深度计算四个部分。本文利用张正友标定算法获取相机参数,通过Bouguet算法对图像进行校正。在立体匹配部分,针对深度学习立体匹配网络PSM-Net收敛速度慢的问题,对其损失函数部分加入交叉熵损失函数,使模型收敛速度得到提升。最后利用模型得到视差图进行双目测距试验,并对试验误差进行理论分析。(2)基于YOLOv5的单目测距双目测距部分只能对左视图内信息进行测距,对于未能利用到的右视图部分本文通过单目测距得到其距离信息。利用COCO数据集对YOLOv5网络进行训练,通过KITTI-Object数据集对其进行测试,将目标检测框下边沿位置作为物体接地线位置,实现几何关系法单目测距,通过真实场景测试验证单目测距的准确性。(3)基于AANAP的图像拼接算法为了使测距结果有更好的展示效果,本文将双目图像利用AANAP算法生成全景图像。针对图像拼接算法在大视差区域容易产生伪影的问题,本文结合图像重叠区域识别算法和图像景深估算,通过试验提出了自适应裁切算法。通过本算法预处理后,图像拼接质量有较大提升。

基于全景图像语义分割的农牧区水泥混凝土路面病害检测研究

这是一篇关于道路检测,深度学习,图像分割,无人机,图像拼接,神经网络的论文, 主要内容为农牧区水泥混凝土公路的大量投入使用和交通运输量的增大,以及林草区域独特的温湿变化会导致公路病害问题越来越严重,直接影响到了公路的使用性能和寿命,甚至交通安全。及时准确的公路检测已经成为道路养护管理急需解决的问题。然而我国现有的路面病害检测方法无法满足我国日渐增长的公路检测任务。因此本文提出了一种由无人机遥感图像结合深度学习和机器视觉的路面病害自动采集、识别、定位、形态特征参数提取和路面健康评估的技术。为提高我国公路自动化检测的效率提供科学指导。本文主要内容如下:(1)本文介绍了基于无人机的农牧区水泥混凝土路面图像信息采集技术。首先基于图传技术和高清摄像技术进行无人机的路面图像采集和三维自主意识建立,在此基础上采用计算机规划检测路径从而提高无人机的采集效率。实验结果证明应用三维自主意识采集的数据经过透镜校准和透视旋转变换后在x,y两个方向上的误差一致性较强。高程误差在-0.6019mm(2)采用了具有注意力机制的CE-Net深度学习网络的方法对路面病害信息进行分割,首先本文根据路面病害特征重新设计了CE-Net网络的感受野和卷积核等网络结构,其次通过增强信息的路面病害图像数据集对网络进行深度训练,获取最优的CENet网络模型。在此基础上应用此网络模型实际分析路面图像分割的结果。最后通过不同方法对比验证基于CE-Net网络的路面病害分割方法的优越性。CE-Net网络在路面分割中的MIOU为0.979531。在路面裂缝分割的MIOU为0.575;网状裂缝分割的MIOU为0.613;坑洞分割的MIOU为0.677。在综合性能上优于其他经典分割算法。(3)设计了基于增量搜索策略和特征点三角化的特征匹配模式对无人机采集的路面图像进行有效拼接,采用增量搜索策略基于几何约束将SIFT点特征三角化,结合PNP—RANSAC算法找到最佳匹配面进行误匹配剔除,实现对长线程病害路面数据集的快速准确拼接。实验数据表明拼接平均准确率为84.37%,基于三分量自主意识的UAV路面遥感图像拼接系统能对长线程路面病害图像准确快速的拼接。(4)设计了将深度学习网络分割的局部图像信息映射到长线程的全路幅图像中的方法。并应用HSV的色彩分割方法获取最终的全局病害信息,采用最大圆法获取病害的最大宽度、应用骨架化和长度检测函数分析最长裂缝信息,最后采用框选函数计算出病害的面积、数量和图像定位信息。这些信息的获取为后续的路面健康状况评价提供了基础信息。最后将算法应用到工程检测实例,验证其可行性。

一种新型图像拼接压缩系统设计

这是一篇关于图像拼接,SIFT,图像压缩,JPEG2000,FPGA的论文, 主要内容为随着信息化时代的发展,各领域对大视场高分辨率图像的需求日益提高。单幅图像在大视场和高分辨率之间的矛盾,可由图像拼接技术通过将有重叠信息的多幅图像拼接为一幅图像而有效解决。然而拼接结果图像相较于原始图像,在信息总量上有明显的增长,从而导致存储图像所需的存储资源或传输图像所需的带宽资源也急剧增大,不利于对图像的实时处理。因此,如何实现图像的实时拼接与压缩具有非常重要的研究意义。为满足上述需求,本文设计一种基于FPGA的新型图像拼接压缩系统,从而实现在满足大视场和高分辨率的同时对图像数据进行有效的压缩,便于后续的传输与存储。图像拼接部分采用SIFT算法作为核心配准算法,作为局部不变性特征描述算法中性能最佳的算法之一,该算法配准性能优秀,但存在结构复杂、处理速度慢的局限性。本文首先针对该问题对SIFT算法各模块进行合理简化和并行设计,包括简化的二维高斯滤波模块、基于同心圆邻域的特征点描述模块等,降低了算法复杂度,实现了处理速度的提升。其次,本文通过多路并行的特征点匹配模块提高匹配速度,并通过简化的单应性矩阵降低了RANSAC算法的运算复杂度。最后,对基于双线性插值和加权融合的图像融合算法进行电路设计,有效消除了图像间的拼接缝。至此,实现了从图像配准到图像融合的拼接全过程。对于图像压缩部分,本文选取JPEG2000标准进行实现。作为新一代静态图像压缩标准,JPEG2000拥有压缩比高、有损压缩与无损压缩均可支持的优势,但高复杂度严重制约了其编码速度。针对该问题,本文对其核心计算模块EBCOT Tier-1编码器进行了重点优化设计,提出压缩上下文的数据组织方法,并通过新型PET存储方式在简化逻辑的同时减小存储的Qe位数,从而减小了Tier-1编码器的硬件资源消耗;同时采用4路Tier-1并行工作的设计,大幅提升吞吐率。本文设计的系统在Xilinx Kintex-7 KC705开发板上进行测试。结果表明,系统在实现图像连续实时拼接的同时,也实现了对结果数据的有效压缩。系统对两幅640×480分辨率图像拼接与压缩处理的帧率可达30fps以上,满足了实时拼接与压缩的要求,具有较高的应用价值。

基于双目相机的实时拼接成像系统实现

这是一篇关于图像预处理,图像拼接,实时图像,自适应阈值,FPGA,并行算法的论文, 主要内容为图像实时拼接技术是机器视觉以及数字图像处理领域内研究的重点课题之一,将两幅或多幅存在图像畸变和亮度差异的实时图像无拼接缝拼接成视觉效果良好的实时图像是研究人员目前追求的目标。近些年来,随着许多不同架构平台的出现与快速更新发展,实时图像拼接技术越来越得到广泛关注,实时图像拼接系统也在不断涌现。虽然近年来基于多种不同处理器架构的实时图像拼接系统不断出现和快速更新发展,但仍不能满足探测和搜救工作中对较高分辨率、较高帧率和较大视场实时拼接图像的需求,对数据量较大的实时图像拼接无法做到不丢帧。由于现场可编程门阵列(Field Programmable Gate Array,FPGA)具有很好的并行处理能力,对于实时图像连续帧处理延迟低,极大地提高了算法处理效率,因而本文中采取基于FPGA的并行处理技术来进行实时图像预处理以及实时图像的配准、融合和输出。本文设计的硬件平台和改进的拼接算法可以对探测和搜救场景下分辨率为1920×1080～3840×2160、帧率40～60帧每秒的两幅实时图像预处理和配准融合处理,最终拼接成一幅实时图像。本文的主要工作如下:1、针对传统的直方图均衡化过程繁琐,图像重投影和低通滤波去噪后会改变图像角点特征的问题,设计了亮、正常、暗三个分区的直方图均衡化并行算法进行图像增强和图像亮度预处理,校正两幅实时图像之间的亮度差异。同时使用改进的静态网格进行图像重投影,不再使用网格的局部变换参数,而是在使用整体变换参数的前提下矫正图像畸变,之后使用双三次插值剔除部分噪点,通过多路并行的方式计算插值结果,这种方法在保护图像中的角点特征和局部物体形状前提下加速了算法。2、针对基于Harris角点检测和归一化互相关算法的传统拼接方法仅仅可以改善实时图像中场景变化较快时出现的图像匹配较慢的现象,却无法解决大量特征点误检、误匹配和计算量较大的问题。采用自适应阈值和联合平均绝对值法,不再使用除法和开方运算,用乘法加比较响应值分子分母的方法来改善图像配准结果,通过该方法在提高图像拼接质量的同时,减少图像场景变化较快时的匹配延迟,拼接出现重影、伪影和错误配准的概率。同时采用投影变换拟合方法进行图像对齐,使图像拼接结果较为平整。由于采用最小二乘法估算变换参数的方法,因而在求解图像变换参数过程中更易排除误匹配点,简化了计算过程,加快了算法实现速度。3、结合实际需求,设计了图像采集模块、图像预处理模块、图像拼接模块和图像输出模块,分模块完成了它们的原理图和PCB设计。设计基于FPGA的串口命令通信,设计了基于HDMI的TMDS输出模块,在已有的可以单目单独和双目整体水平转动的相机机械结构基础上,设计了初始和聚焦两种双目相机工作模式,重点设计了两路相机数据输出以及模块间数据的传输过程,详细设计了图像帧同步和图像数据缓存。通过把在FPGA上实现的并行图像预处理和实时图像拼接算法与在MATLAB上实现的相同算法做比较,分析不足之处,然后不断改进算法实现方式,减少资源占用率,得到一种可以实现实时图像拼接、拼接实现速度快、拼接视觉效果良好的可单目转动的双目相机拼接成像系统。综上所述,本文对图像拼接技术在FPGA上和图像拼接理论在实时探测领域的应用作了详细探讨,围绕图像实时预处理、图像实时配准和图像实时融合等关键问题做了研究和并行化设计,搭建了基于FPGA的实时图像拼接成像系统。

激光显微切割系统的软件设计与实现

这是一篇关于激光显微切割,软件系统设计,图像拼接,自动对焦,细胞识别的论文, 主要内容为脑组织是一个复杂的三维结构,由相互作用的多种细胞群和细胞外基质组成。研究大脑区域和细胞类型多样性的表达关系,有助于从分子水平认知脑功能执行的机理。为了获取全脑范围内单细胞分辨定位的组学信息,需要精准提取含有空间定位信息的细胞。本人所在课题组正在开发一套激光显微切割系统来获取微小目标样本,但仅依靠硬件存在操作繁琐、系统工作效率低的问题,在大规模进行样本取样时速度慢,会影响后续的测试质量。针对上述问题,本文采用C#设计并实现了一套功能齐全、稳定性好、效率高的激光显微切割系统软件。软件主要包括用于功能实现的控制模块和用于软件优化的图像处理模块。本文的控制模块主要为实现微小目标样本切割与收集任务。控制模块包括:数据采集模块,通过控制相机采集数据,实现样本运动过程的实时显示及数据存储;绘图模块,通过控制鼠标绘图,实现对任意形状目标样本的切割路线的设定;自动切割模块,采用串行切割的策略,实现对多个任意形状样本的快速精准切割;收集模块,通过控制收集装置运动,实现无污染样本收集。本文对小鼠脑组织切片样本中不同细胞的精准切割与无污染收集,验证了软件与系统较好地实现了细胞的精准取样;对不同组织处理技术下的多种样本进行微区精准取样,验证了软件与系统的适用性良好。本文的图像处理模块主要是解决图像质量不佳的问题,并提高系统切割精度和效率。针对平台定位不精准导致的图像拼接错位问题,通过基于相位相关的图像配准方法,实现了无错位图像拼接。针对光场不均导致的暗角问题,通过渐入渐出融合法,实现了大图的无缝拼接。针对组织切片厚度不均导致的频繁调焦问题,通过全局搜索法采集数据,并采用能量梯度函数评价焦面,实现快速调节系统焦面。针对手动绘制轮廓效率较低的问题,通过细胞识别算法自动获取细胞轮廓,实现了快速且精准的细胞切割路线的获取。综上所述,本文从激光显微切割系统的硬件组成出发,设计并实现了一套完整的软件系统,并从切割效率与图像质量等方面对软件进行了优化,实现了从小鼠脑组织切片快速精准地提取特定细胞的目标。该软件有效提高了系统的自动化程度,可以加速细胞转录组学信息的获取过程。

基于FPGA的车载显示双路同步系统及图像拼接技术研究

这是一篇关于车载显示,双路同步采集系统,图像拼接,FPGA的论文, 主要内容为随着近年来图像处理、计算机视觉等相关概念的爆火,图像拼接在图像检索领域及计算机视觉领域的影响下也成为热门研究方向之一。SIFT算法作为一种基于特征识别的前景检测算法,凭借其旋转、平移、缩放不变性及抗光照亮度变化等的特点,常被用于图像拼接、图像检索、特征提取、图像识别等领域。然其存在计算量大、运算时间长等不足,对其使用场景造成限制。本文设计新型改进方式将其搬至硬件实现以缩短运算时长,采用FPGA作为硬件运算核心完成课题任务。本文主要工作内容列举如下:(1)从调研结果及系统需求出发,将系统实现方案分为硬件及软件两部分,对各部分模块要实现功能进行划分,之后论证采取FPGA作为硬件平台的必要性。(2)搭建双路图像采集系统,并作为车载显示双路同步系统的模拟。设计转接板固定两个单目摄像头,同时调节两个单目摄像头相对位置达到扩大视角目的。软件层面设计摄像头驱动、DDR3驱动、HDMI显示驱动,设计图像乒乓缓存结构、双路摄像头读写仲裁。根据SCCB协议、AXI4通信协议编写驱动程序。最终完成两路640×480@60 Hz图像的同步输出,分别显示于HDMI显示器的左右两半屏。(3)分析SIFT算法,提出算法优化方案,对优化算法进行MATLAB仿真验证算法合理性,多方比较后确定最终算法中的参数选型、滤波方式、匹配方式等。在MATLAB仿真基础上,考虑硬件自带资源的局限性及FPGA本身高并发、整形计算的特点对算法各模块硬件实现进行设计。同时本文介绍了几种硬件逻辑设计中常用的处理方式及技巧,如高斯核分离、图像窗口构建、数据缓存、循环移位等。(4)在双路图像采集系统基础上,为减少资源消耗,对整个系统顶层连接着重设计。包括图像裁剪模块、RGB图像转灰度模块等对图像进行预处理。编写顶层算法验证模块测试系统。(5)分析各模块消耗资源以及实验中存在的不足,以便二次开发和优化。最后,系统测试中搭建的双路同步采集系统平稳运行无卡顿,采用双路摄像头扩大了视角范围,达到辅助驾驶效果;改进算法的仿真结果表明对于相同两幅图,原算法在MATLAB中匹配特征点平均耗时在5.11 s,优化算法在MATLAB中匹配特征点输出拼接后图像整个过程平均耗时为1.08 s,在FPGA上匹配特征点耗时4.171 ms,改进后算法时间效率提升373%。