基于激光雷达与相机融合的实时动态多目标检测
这是一篇关于机器人,相机,激光雷达,多传感器融合,目标检测的论文, 主要内容为社会发展使得人力资源短缺问题加剧,人们倾向于使用配备视觉传感器的移动机器人以提高生产效率。目前,由于腿足机器人行走时晃动的运动特性,且动态目标的速度或加速度的变化,致使机器人动态目标检测速度不佳、精度不足、被遮挡目标和小尺度目标漏检率高。针对这些问题,本文基于激光雷达与相机传感器融合的方法来识别目标并预测碰撞时间,克服了单一传感器目标检测的缺陷,在保证实时性的前提下,提高了机器人目标识别、定位及碰撞预测的精度。主要研究内容如下:(1)对于激光雷达,主要通过软体素化代替硬体素化来改进Voxel Net模型进行目标检测,检测过程首先基于坡度的地面提取算法来滤除地面,然后使用随机采样一致性算法对点云聚类,最后基于主成分分析拟合矩形框边界框。试验结果表明改进的Voxel Net模型有效缓解了硬体素化带来的性能抖动,相较原先的模型检测速度快、精度高约3%,但是比起用相机检测的精度还差很多。(2)对于相机目标检测,分析相机成像原理及几个坐标系之间的转换对相机进行内参标定,并通过YOLOv3模型进行检测目标边界框及置信度,并提取与匹配图像的特征点来预测碰撞时间,实验表明用相机来检测目标边界框还是很可靠的,其检测速度和精度都很高,但是检测位置的精度不高以致预测的碰撞时间不准确。(3)对于激光雷达和相机融合识别目标,首先图像数据通过YOLO检测边界框,随后将基于标定板关键点的联合标定算法改进为3D-3D的联合标定算法,得出误差更小的激光雷达到相机的转换矩阵,再通过ROS进行时间同步,将点云实时投影到图像,基于视场(FOV)划分技术优化基于密度的噪声应用空间聚类算法(DBSCAN)来聚类点云,以得到更准确的边界框,最终融合相机检测的边界框和激光雷达检测的边界框并预测碰撞时间。实验结果发现融合检测比仅使用激光雷达或相机传感器检测具有更高的精度,并且FPS值也能达到实时检测的要求。对于配有实时识别系统机器人,通过本文的程序就可以使真实机器人更好的实时检测静态动态目标,预测碰撞时间并躲避障碍物。实验验证表明了本文所提算法的有效性和可靠性。
基于激光雷达与相机融合的实时动态多目标检测
这是一篇关于机器人,相机,激光雷达,多传感器融合,目标检测的论文, 主要内容为社会发展使得人力资源短缺问题加剧,人们倾向于使用配备视觉传感器的移动机器人以提高生产效率。目前,由于腿足机器人行走时晃动的运动特性,且动态目标的速度或加速度的变化,致使机器人动态目标检测速度不佳、精度不足、被遮挡目标和小尺度目标漏检率高。针对这些问题,本文基于激光雷达与相机传感器融合的方法来识别目标并预测碰撞时间,克服了单一传感器目标检测的缺陷,在保证实时性的前提下,提高了机器人目标识别、定位及碰撞预测的精度。主要研究内容如下:(1)对于激光雷达,主要通过软体素化代替硬体素化来改进Voxel Net模型进行目标检测,检测过程首先基于坡度的地面提取算法来滤除地面,然后使用随机采样一致性算法对点云聚类,最后基于主成分分析拟合矩形框边界框。试验结果表明改进的Voxel Net模型有效缓解了硬体素化带来的性能抖动,相较原先的模型检测速度快、精度高约3%,但是比起用相机检测的精度还差很多。(2)对于相机目标检测,分析相机成像原理及几个坐标系之间的转换对相机进行内参标定,并通过YOLOv3模型进行检测目标边界框及置信度,并提取与匹配图像的特征点来预测碰撞时间,实验表明用相机来检测目标边界框还是很可靠的,其检测速度和精度都很高,但是检测位置的精度不高以致预测的碰撞时间不准确。(3)对于激光雷达和相机融合识别目标,首先图像数据通过YOLO检测边界框,随后将基于标定板关键点的联合标定算法改进为3D-3D的联合标定算法,得出误差更小的激光雷达到相机的转换矩阵,再通过ROS进行时间同步,将点云实时投影到图像,基于视场(FOV)划分技术优化基于密度的噪声应用空间聚类算法(DBSCAN)来聚类点云,以得到更准确的边界框,最终融合相机检测的边界框和激光雷达检测的边界框并预测碰撞时间。实验结果发现融合检测比仅使用激光雷达或相机传感器检测具有更高的精度,并且FPS值也能达到实时检测的要求。对于配有实时识别系统机器人,通过本文的程序就可以使真实机器人更好的实时检测静态动态目标,预测碰撞时间并躲避障碍物。实验验证表明了本文所提算法的有效性和可靠性。
Flutter平台下的智能拍摄组件研究与设计
这是一篇关于Flutter,Android Native,相机的论文, 主要内容为随着互联网发展进入短视频时代,用户对于相机应用使用需求与依赖也随之提高。Flutter是目前最火热的移动跨平台开发框架,拥有良好的开发生态。在Flutter开发模式下,应用使用相机能力时需要依赖相机组件,对各端进行适配。为满足Flutter开发者的相机功能需求,本文设计实现了新的方案,针对Android平台进行了实现,满足短视频时代开发者相机功能的使用需求。本文设计并实现了一款Flutter平台下的智能相机组件。与官方相机组件相比,本组件基于Flutter + Android Native层的相机实现框架,该框架下实现的相机组件在运行效率和扩展性上得到了提升。为了使得框架具有可行性,本文研究并优化了 Flutter层与Android Native层通信机制,基于Dart FFI能力实现了消息通道功能代替了PlatformChannel,该功能提升了原生方法调用效率。为了管理通信过程中消息结果对象和Android层的Java对象,本文研究并优化了这些对象管理流程,极大地提高了组件开发效率。基于上述框架,本文设计和实现了相机模块、特效模块和编码模块,相机模块获取相机和麦克风数据,特效模块支持接入深度学习模型和OpenGL特效,编码模块支持对数据的实时处理,三个模块完成数据获取、加工和编码导出整个流程。本文对相机组件进行性能与稳定性测试,测试结果表明,组件实现的消息通道能力相比PlatformChannel提升了层级通信时方法执行效率,同时相机组件的启动速度上较官方方案提高了约19.7%,Flutter层获取相机帧速度提高了约5.1%。组件可以良好地应对高清视频的录制任务,且录制期间组件具有平稳的帧率。在特效和高清组件整体内存占用平稳,表现稳定且良好。
使用先验知识的三维人体姿态估计
这是一篇关于深度学习,人体姿态估计,相机,方向约束的论文, 主要内容为从二维关节点坐标进行三维人体姿态估计已经展现出可行的结果。现有的方法大多采用深度学习模型利用二维关节点坐标来预测三维坐标的深度值,二维关节点坐标的获取是基于一个较准确的二维坐标检测器。然而只用二维关节点作为输入相比于基于图片的方法会丢失很多信息,而且会造成歧义性。为了克服这些问题,我们结合了骨骼长度和相机参数作为输入。这样的组合相比于二维关节点更具有判别性,它还能提高模型预测深度的准确性,减缓从三维坐标投影到二维坐标空间的歧义性,此外我们引入了方向约束使得深度学习模型预测的结果更加准确。本文的主要研究工作如下:(1)本文提出了一种结合相机参数和骨骼长度的网络算法Extra Pose Net。具体来说,在相机参数和骨骼长度的作用下,模型对数据的判别性有了显著的提高,更容易预测出更加准确的三维坐标值。缓解了基于二维坐标作为输入的信息丢失问题。(2)本算法设计了基于关节点的骨骼方向约束(Bone Direction Constraint,BDC)来弥补单一均方误差(Mean Square Error,MSE)损失预测结果的不准确性。它使得模型在预测的过程中引入对骨骼朝向的计算,以获得更好的深度预测结果。(3)算法ExtraPoseNet在Human3.6M和MPI-INF-3DHP两种权威的数据集的基础上对模型进行了测验。测验结果表明,Extra Pose Net有利于学习到二维关节点与三位关节坐标之间的映射关系,能对关节点深度值进行更准确地预测。与现有的主流三维人体姿态估计的方法相比,Extra Pose Net取得了非常有竞争力的结果,在公开的权威数据集Human3.6M测试集上分别取得了P1(MPJPE)48.8和P2(PA-MPJPE)39.0的预测结果。
使用先验知识的三维人体姿态估计
这是一篇关于深度学习,人体姿态估计,相机,方向约束的论文, 主要内容为从二维关节点坐标进行三维人体姿态估计已经展现出可行的结果。现有的方法大多采用深度学习模型利用二维关节点坐标来预测三维坐标的深度值,二维关节点坐标的获取是基于一个较准确的二维坐标检测器。然而只用二维关节点作为输入相比于基于图片的方法会丢失很多信息,而且会造成歧义性。为了克服这些问题,我们结合了骨骼长度和相机参数作为输入。这样的组合相比于二维关节点更具有判别性,它还能提高模型预测深度的准确性,减缓从三维坐标投影到二维坐标空间的歧义性,此外我们引入了方向约束使得深度学习模型预测的结果更加准确。本文的主要研究工作如下:(1)本文提出了一种结合相机参数和骨骼长度的网络算法Extra Pose Net。具体来说,在相机参数和骨骼长度的作用下,模型对数据的判别性有了显著的提高,更容易预测出更加准确的三维坐标值。缓解了基于二维坐标作为输入的信息丢失问题。(2)本算法设计了基于关节点的骨骼方向约束(Bone Direction Constraint,BDC)来弥补单一均方误差(Mean Square Error,MSE)损失预测结果的不准确性。它使得模型在预测的过程中引入对骨骼朝向的计算,以获得更好的深度预测结果。(3)算法ExtraPoseNet在Human3.6M和MPI-INF-3DHP两种权威的数据集的基础上对模型进行了测验。测验结果表明,Extra Pose Net有利于学习到二维关节点与三位关节坐标之间的映射关系,能对关节点深度值进行更准确地预测。与现有的主流三维人体姿态估计的方法相比,Extra Pose Net取得了非常有竞争力的结果,在公开的权威数据集Human3.6M测试集上分别取得了P1(MPJPE)48.8和P2(PA-MPJPE)39.0的预测结果。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码工坊 ，原文地址：https://bishedaima.com/lunwen/54560.html
