工业现场安全着装检测系统

这是一篇关于安全帽,视频监控系统,目标检测,多目标跟踪,实时性的论文, 主要内容为安全是一种责任,正确佩戴安全帽是对自己、对他人的一种保护和责任,在施工现场,我们很难避免一些潜在的或外来的安全隐患,比如:坠物撞击和头碰他物等。近年来,基于远程网络视频的实时监控技术逐渐兴起,将实时的网络视频监控系统应用于监测工业生产现场中的人员是否自觉遵守安全规章制度,能够加强对工业生产现场中人员的安全监督,从而减少由分散散落物的冲击力导致头部损伤的安全事故发生概率,同时对工业的安全生产来说意义重大。基于以上情况,国内外许多研究者对安全着装检测系统进行了设计与研究。然而,以往相关的检测方法存在着是单一图像遮挡、小目标识别精度低以及不能适应复杂场景环境的问题,使得它们在复杂的工业现场环境下的安全着装检测效果不佳。本文提出并设计了工业现场安全着装检测系统,并在复杂的应用背景下,该系统需满足远程控制需求、图像质量需求、实时性需求和准确性需求。为满足以上所提出的系统功能需求和性能需求,工业现场安全着装检测系统由这几个模块组成:基于Nginx服务器的监控图像采集模块、基于Harr级联分类器的安全帽检测模块、基于Py Torch平台的人员检测与跟踪模块、基于Flask框架的Web后端数据处理模块和基于Vue的Web前端实时展示模块。本系统在基于Nginx服务器的监控图像采集模块中,以Nginx服务器作为流媒体服务器,使用了FFmpeg视频流处理工具对工业现场的实时监控图像进行采集和处理;在基于Harr级联分类器的安全帽检测模块中,对视频图像帧中的安全帽识别使用了Harr级联分类器;在基于Py Torch平台的人员检测与跟踪模块中则使用了基于目标检测和表观特征共享结构的多目标跟踪(Multi-Object Tracking,MOT)模型,使得工业现场安全着装检测系统在成功率和速度上都有着显著的提升,同时能够解决目标遮挡和重叠等问题;在基于Flask框架的Web后端数据处理模块和基于Vue的Web前端实时展示模块中,则使用了由Python开发的Web框架Flask设计并实现后端数据的处理和交互,并以Vue作为前端开发框架设计了展示界面,从而对检测结果进行实时展示。最后,为了对工业现场安全着装检测系统进行评估,本文从监控图像采集的稳定性和系统的实时性、准确性等方面进行了大量的实验测试以证明该系统能够满足实际需求。

基于机器视觉的模切机纸张定位系统设计与开发

这是一篇关于平压平模切机,定位精度,软硬件设计,图像处理,实时性的论文, 主要内容为本课题针对平压平模切机传统的电子规与机械规对纸张定位精度不高,以天津长荣平压平全清废模切机1450ER为研究对象,设计开发了基于机器视觉的模切机纸张定位系统,对纸张的边缘或者印刷的色块定位,定位精度不低于0.01mm,并能实时地传输数据。本文主要进行了以下研究:(1)系统总体方案设计。确立了系统的结构、所需设备和软硬件设计需求。(2)成像光路及硬件设备选型。受前规、侧规处狭小空间的限制,选取了一体化封装式光源相机采集图像,设计了成像光路图,确定相机焦距与工作距离。(3)I/O控制板的设计。实现相机光源隔离式输入输出驱动控制,对输入信号去抖滤波、脉冲延时整形处理以达到相机光源同步曝光的目的。(4)图像处理算法与数据实时通讯研究。讨论了边缘检测与亚像素级边缘检测原理,并实验验证了边缘检测方法的精度;对亚像素级的边缘点作最小二乘法直线查找处理,通过数学几何运算求取纸张偏移的角度与位移。选择以太网Modbus/TCP协议将数据写入到PLC的寄存器或内存地址中,保证数据传输的实时性。(5)系统测试与人机操作界面设计。研究了工业相机标定原理与标定步骤,使用QT Designer设计了人机操作界面;在界面中,设置硬件设备和图像处理工具的参数进行系统测试,使其满足运行稳定性要求。

多媒体网络教学系统的设计与实现

这是一篇关于网络教学系统,双令牌链总线,实时性,语音通信,视频广播的论文, 主要内容为网络教学系统是一种新的教学系统，它的出现改变了传统教学方式，能提高教学效率和学生参加教学活动的积极性。 本文的目的是设计一种实时性高、可扩展性强的多媒体网络教学系统，其中重点是这种多媒体网络教学系统的应用程序设计与实现，即管理程序、语音通信程序和同步视频广播程序的设计与实现。 本文首先分析了局域网的介质访问控制方法，研究了为保证网络运行的可靠性和实时性而设计的双令牌链总线的网络结构。在认真分析了系统功能的基础上，提出了为满足系统的可扩展性而设计的分布式程序总体结构。在系统结构和程序总体结构确定的基础上，系统论述了多媒体网络教学系统的三个应用程序的设计与实现。在管理程序的设计与实现中，重点论述了网络管理和教学管理流程的设计，以及为实现这些流程所设计的基本数据表和管理程序帧格式。在语音通信程序的设计与实现中，介绍了使用DirectSound实现语音采集、播放的方法，然后着重论述了针对系统要求的语音采集与传输线程与语音数据接收和播放线程所使用的各功能模块的设计实现。在同步视频广播程序的设计与实现中，介绍了使用DirectShow实现视频播放的方法，然后着重论述了针对系统要求的教师端视频播放和学生端视频播放的各功能模块的设计实现。 经过实际的联机调试，证明系统设计是成功的。

基于流式计算的个性化推荐系统的研究与实现

这是一篇关于流式计算,推荐系统,实时性,冷启动,矩阵分解,交替最小二乘的论文, 主要内容为目前,推荐系统无论是在电子商务还是在社交网络都占据着举足轻重的位置。传统的个性化推荐系统虽然能为用户提供准确的推荐服务,但面对不断变化的用户需求还存一些缺陷。由于传统系统定期批量计算数据,使得系统的计算结果无法实时反馈给用户,推荐的数据不能实时更新,使得推荐有滞迟,这即是推荐系统中的实时性问题。此外,在网站的初始阶段,由于用户-物品评分数据的缺乏,导致系统无法进行有效的推荐,这即是推荐算法中的冷启动问题。针对上述问题,本文设计与实现了一个基于流式计算的个性化推荐系统,即将解决冷启动问题的改进的推荐算法应用到推荐系统中,并根据实时的数据流更新推荐结果,本文主要包括以下研究内容:(1)针对推荐算法的冷启动问题,提出了一种基于相似度加权KNN的特征映射算法(Feature Mapping based on Similarity Weighted KNN,FM-SWK)。该算法首先运用相关相似度作为KNN算法的相似性度量方式,求得新用户或新物品的k个最近邻,然后结合用户或物品的属性向量来建立新用户或新物品和已有评分的用户或物品之间的映射关系,最后利用k个最近邻用户或物品的特征信息通过相似度加权的方式来估算新用户或新物品的特征值。其次,将FM-SWK算法和基于ALS-WR(Alternating Least Squares with Wighted Lmabda Regularization,加权正则化交替最小二乘法)的矩阵分解算法相结合,提出基于FM-SWK-ALS(FM-SWK and ALS-WR)的混合推荐算法,该算法利用FM-SWK算法求得的新用户和新物品的特征值,通过基于ALS-WR的矩阵分解模型对新用户或新物品进行推荐。同时,针对基于FM-SWK-ALS的混合推荐算法时间复杂度高和无关的用户和物品特征向量也被计算的问题,从用户和物品两个方面,提出适用于实时数据流的改进方案,该方案增量计算新用户或新物品的特征向量,规避不必要用户或物品特征向量的求解,然后将其应用到上述的混合推荐算法中。我们在搭建的Spark集群上使用公开的Movie Lens数据集对上述提出的混合推荐算法和其改进方案进行分析,将基于ALS-WR的矩阵分解算法和使用平均值填充新用户和新物品缺失评分值的AVG-ALS(ALS-WR based on Average)作为对比算法,从用户和物品两方面分析得出,基于FM-SWK-ALS的混合推荐算法的MAE(Mean Absolute Deviation)和RMSE(Root Mean Square Error)的值明显优于两种对比算法,其改进方案随着数据量的不断增加,迭代计算时间变化缓慢,满足系统计算时间需求。实验结果表明,基于FM-SWK-ALS的混合推荐算法可以在一定程度上有效地解决因由于用户-物品评分数据的缺乏无法进行有效推荐的问题,提高了推荐系统的推荐精度,其改进方案可以有效的提升算法的推荐效率。(2)针对传统推荐系统存在计算缓慢无法根据用户实时行为做出推荐的问题,本文设计并实现了一种能够实时计算的流式处理架构,将该架构和(1)提出的混合推荐算法相融合搭建基于流式计算的个性化推荐系统,并根据需求分析对系统模块进行设计和实现,主要分为基于Flume和Kafka的实时数据流模块、基于Spark Streaming的实时流计算模块和基于Spark中MLlib的推荐引擎模块,并使用HDFS和Hbase进行数据存储,前两者为在线处理部分,后两者为离线处理部分。系统通过将离线处理与在线处理相结合,也即由离线处理部分完成复杂度高、运算量大的计算,而由在线处理部分完成轻量级的计算,从而使得推荐系统能够实时响应用户行为。本文通过实验对设计出的实时推荐系统进行准确性和实时性能测试,其中,改进的FM-SWK-ALS混合推荐算法的准确率、召回率比传统的User CF、Item CF平均都要高出1.5%;本文搭建的实时推荐系统当瞬时数量在8000以内或评分速率在2500以内时,系统的平均响应时间都在5s以内。实验结果表明本文基于流式计算的个性化推荐系统具有良好的性能,在解决冷启动问题的同时,能够满足实时推荐的需求。

基于3D点云模型识别的方法研究

这是一篇关于点云模型识别,深层神经网络,实时性的论文, 主要内容为随着计算机视觉的快速发展,三维图形识别已经成为了一个研究的热门方向,人们对机器视觉系统提出了更高的要求,更加侧重图像信息的提取以及对象识别的准确性。现阶段,在深度学习的基础之上所派生出的大量研究成果往往都侧重于提升模型的精度,而忽视了模型的实用性。随着现代工业的发展,构建一个实时且高效的点云识别模型成为了一件迫切需要解决的问题。伴随着传感器设备的日益普及,点云的应用也愈加广泛。本文立足于深度学习,针对三维模型识别中存在的问题进行了深刻的探讨,并提出解决方案。对于3D点云模型,利用深度学习技术处理时,主要会面临以下几个挑战:点云的分布是不规则的,受限于采集设备的影响,所获取的点云数据通常是疏密不均的,这在很大程度上阻碍了研究的进展。本实验采用普林斯顿大学(Princeton University)公开的标准数据集Model Net-40,其内部数据是利用CAD手工绘制,避免在采集过程中,激光雷达等设备导致点云数据出现“近密远疏”的现象,影响实验结果。在原始数据的基础上,本文利用PCA技术进行降维处理,向其中加入法向量信息,提高模型识别精度;点云数据是无序的,即点云数据与其内部点云的排列顺序无关,本文参考了一系列的函数构造方法,最终决定利用对称函数去解决点云分布与其排列顺序无关的问题;点云数据是非结构化的,其内部点之间是相互独立的,而非固定的,用神经网络来处理点云数据时就非常困难,无法提取到点云的空间结构特征,本文利用多尺度的策略去提取点云局部空间特征,其原理类似于卷积网络中的感受野。受残差网络的影响,本文搭建了一种基于残差模块的神经网络框架,通过引入残差模块,构建深层神经网络,增强模型提取点云数据局部信息的能力,提高模型的识别精度;利用“碰撞检测”策略,去减少点云模型中的点云数量,加快推理速度。该方法并没有影响模型的识别精度,它很好地保留了识别过程中的“关键点”数据。实验证明,本文提出算法的识别准确率达到了91.5%,比Point Net提升了2.3%,Point Net++提升了近1.3%;该算法也加快了模型的推理速度,其运行效率相比于Point Net++提高了近1/3。本文算法可应用于点云模型识别,尤其是有实时性要求的场景,如:流水线上物体的检测、三维物体感知等。

多媒体网络教学系统的设计与实现

这是一篇关于网络教学系统,双令牌链总线,实时性,语音通信,视频广播的论文, 主要内容为网络教学系统是一种新的教学系统，它的出现改变了传统教学方式，能提高教学效率和学生参加教学活动的积极性。 本文的目的是设计一种实时性高、可扩展性强的多媒体网络教学系统，其中重点是这种多媒体网络教学系统的应用程序设计与实现，即管理程序、语音通信程序和同步视频广播程序的设计与实现。 本文首先分析了局域网的介质访问控制方法，研究了为保证网络运行的可靠性和实时性而设计的双令牌链总线的网络结构。在认真分析了系统功能的基础上，提出了为满足系统的可扩展性而设计的分布式程序总体结构。在系统结构和程序总体结构确定的基础上，系统论述了多媒体网络教学系统的三个应用程序的设计与实现。在管理程序的设计与实现中，重点论述了网络管理和教学管理流程的设计，以及为实现这些流程所设计的基本数据表和管理程序帧格式。在语音通信程序的设计与实现中，介绍了使用DirectSound实现语音采集、播放的方法，然后着重论述了针对系统要求的语音采集与传输线程与语音数据接收和播放线程所使用的各功能模块的设计实现。在同步视频广播程序的设计与实现中，介绍了使用DirectShow实现视频播放的方法，然后着重论述了针对系统要求的教师端视频播放和学生端视频播放的各功能模块的设计实现。 经过实际的联机调试，证明系统设计是成功的。

嵌入式系统开发平台—核心层的设计与实现

这是一篇关于嵌入式系统开发平台,实时性,可裁减性,核心层的论文, 主要内容为能够支持嵌入式系统资源复用、缩短嵌入式系统开发周期、提高嵌入式系统开发效率的嵌入式系统开发平台是嵌入式产品开发的有效工具。但嵌入式系统产品以应用为中心，不同的应用产品具有不同的功能，另外大多数应用产品对实时性有较高要求，因此，如何科学合理的设计和实现嵌入式系统开发平台的可裁剪性和实时性已经成为当今嵌入式系统开发过程中一个亟待解决的关键问题。 本文主要内容为研究并实现基于层次模型的嵌入式系统开发平台的核心层。关键技术研究是该层功能的设计与实现。核心层是开发平台中涉及任务管理、异常与中断管理以及内存管理等系统资源分配的重要一层，其功能是实现嵌入式实时操作系统内核。本文在对现有的嵌入式实时操作系统内核以及其实时性和可裁减性分析的基础上，提出并实现了嵌入式系统开发平台核心层的实现方案。 方案将嵌入式系统开发平台核心层分为3个模块：任务管理模块，异常与中断管理模块以及内存管理模块。 任务管理模块中，设计了任务控制块(TCB)，并对任务状态进行了详细的划分，通过在任务调度中引入就绪队列、设置任务调度变量提高了任务调度的实时性；通过在并发控制中引入事件控制块、信号量、互斥型信号量、事件标志组、消息邮箱以及消息队列等方式实现了任务间的协调运行。 异常与中断管理模块中，分析了异常处理原理，并设计了ESP—HAL与核心层之间异常处理函数的接口和应用程序异常处理函数接口；给出了中断处理模型，设计了中断处理流程和中断处理服务接口；此外还将异常和中断管理函数设计为以库函数或C语言宏的形式供使用者调用，缩短了异常或中断处理的响应时间。 内存管理模块中，设计了内存控制块，通过内存控制块来跟踪每一个内存分区，以特殊的内存分块管理技术实现了内存分区，在较大程度上避免了内存碎片的产生。 在课题组自主开发的嵌入式系统开发平台的支持下，该核心层可实现嵌入式实时操作系统内核的功能。与现有的嵌入式实时操作系统内核相比，该核心层所实现的实时操作系统内核具有较好的实时性和可裁减性，可满足当前对嵌入式系统开发的要求。

基于FPGA的暗通道先验去雾算法研究与实现

这是一篇关于暗通道先验,视频去雾,实时性,并行计算,双尺度最小值滤波的论文, 主要内容为雾天条件下,成像设备采集到的图像、视频都会发生一定程度的降质,导致图像中的目标信息模糊难以辨识,对成像设备在目标检测识别与跟踪、遥感观测等领域的应用产生不良影响,因此对数字图像去雾技术的研究具有重要意义。目前去雾算法的研究取得了较大的进展,但是现有算法对光晕效应以及白亮区域的色彩失真处理仍存在不足,并且算法的计算复杂度较高,极大地限制去雾算法的工程应用。随着现场可编程逻辑门阵列(Field Programmable Logic Gate Array,FPGA)的性能越来越突出,在图像处理领域应用案例日渐增多,基于FPGA的实时去雾系统的研究逐渐成为热点。现有去雾系统处理的图像分辨率较低,系统的鲁棒性和实时性也存在较大缺陷。为解决上述的问题,本文设计了一种对光晕效应以及白亮区域的色彩失真处理效果良好的去雾算法,结合本文算法设计一套基于FPGA的实时去雾系统。本文的主要工作包括3个方面:(1)基于暗通道先验的去雾算法设计。基于传统暗通道去雾算法的研究,着重分析了暗通道先验去雾算法中参数的选取对去雾效果的影响以及暗通道先验算法的不足。针对去雾后的光晕效应,本文设计双尺度最小梯度滤波方法求取透射率,使用不同尺度的窗口求取暗通道图,进而求解出透射率图,精简了透射率处理过程,同时有效解决了光晕效应;针对白亮区域色彩失真问题,本文设计基于阈值分割的透射率补偿方法,采用经验值加串口微调的方式设置阈值,实现对透射率的补偿,避免了白亮区域透射率的过低估计,在一定程度解决白亮区域的色彩失真问题;针对大气光值估算复杂的问题,设计基于亮度直方图统计的大气光值估算方法。对于图像去雾过程,该方法有效地降低大气光值的计算复杂度。对于视频去雾过程,根据帧间相关性对帧间的大气光值进行平滑,有效地解决了大气光值跳变引起的视频帧闪烁问题。(2)基于FPGA的去雾算法再设计。本文设计了一套基于FPGA的去雾系统硬件平台,以HDMI输入或者相机作为系统输入,FPGA作为核心处理单元,以HDMI作为系统输出。结合FPGA的高并行以及流水线优势对算法部分步骤进行再设计。根据视频相邻帧的关联,基于前一帧计算的透射率和大气光值,完成当前帧的去雾,达到实时视频去雾效果,提高算法计算效率,具有较高的实用性。在双尺度求取暗通道过程中,对于最值串行排序运算延迟较大的问题,采用面积换速度的思想,降低6个时钟周期延迟;FPGA不适合进行浮点运算,耗费逻辑资源较多,因此将颜色空间变化等操作中的浮点数运算转换为定点数运算;图像复原、透射率计算等步骤中涉及大量的除法运算,将除法运算用移位运算代替。以上几点的改进在保障资源消耗平衡的同时,还能够提高算法执行速度。(3)去雾系统FPGA实现与系统测试。本文基于FPGA硬件平台对系统的各部分逻辑实现并且进行功能仿真。对系统功能进行测试,从主观感受和客观定量两个角度进行分析评价,结果表明本文设计的算法具有比传统算法更好的去雾效果,对光晕效应和色彩失真处理更好。本文基于FPGA系统实现的去雾算法结果相较于Matlab的仿真结果,在图像质量降低较小的情况下,对1920×1080的视频图像去雾帧率可达60fps,系统总功耗不超过5W,能应用在低功耗领域。

面向armv8处理器的微内核设计与优化

这是一篇关于微内核,ARMv8,多核,并发性,实时性的论文, 主要内容为随着近年来嵌入式物联网设备的大力发展,微内核架构由于其本身独特的设计理念,具备代码量小、安全性高、可扩展性强等一系列优势,非常符合各种嵌入式设备在医疗、汽车等新型应用场景下的需求。当下在嵌入式领域中,主流的嵌入式设备为ARMv8系列。虽然目前市面上的微内核种类繁多,但大多数设计实现都不够成熟且泛用性较强,对于ARMv8处理器的适配缺乏优化。本文通过对ARMv8架构的研究,基于团队自研的Mginkgo微内核,设计并实现了面向ARMv8处理器平台的微内核操作系统,同时针对微内核的实时性、并发性等重要性能指标进行优化与改进。本文的主要工作如下:(1)基于团队自研的Mginkgo微内核模型,进行面向ARMv8多核处理器的微内核操作系统设计。其中重点涉及地址空间管理模块、异常管理模块、任务管理模块、内存管理模块、多核拓展模块。(2)针对微内核在多核环境下的并发应用场景,借助硬件提供的Large System Extension,设计并实现了高性能的无锁并发队列mkqueue。此外,实现了用户态内核态混合同步原语mkmutex,其结合了mutex在高并发场景下的高性能与spinlock自旋锁在低并发场景下的高CPU利用率和低延迟。(3)针对微内核在多核环境下的实时应用场景,提出微内核的中断上下半部机制,克服了传统中断上下半部机制存在的一系列缺点,减少了系统的最大关中断时间,提高了系统的实时性。在任务调度方面,引入了调度器层次化结构设计,设计全局调度器与本地调度器,并将本地核心划分为通用核心组和实时核心组,极大的提升了内核的实时性,能够一定程度上满足工业实时任务的需求。最后在RK3566开发板上完成内核的功能测试与性能测试,测试结果表明,本文所设计实现的微内核操作系统能够满足嵌入式设备对功耗、性能的需求。