面向短视频消费的KPI监控系统的设计与实现
这是一篇关于KPI监控系统,异常告警,VAE,GAN的论文, 主要内容为随着互联网的迅速普及和广泛应用,人们的生活和网络服务变得密不可分,娱乐方式也更加多元化。近几年,短视频行业迅速崛起并成为一种主流的娱乐方式,各短视频平台为了提升产品性能保障用户体验,对海量用户行为数据进行实时分析和监控,以便能够及时发现问题并采取相应的措施,从而保证产品的核心竞争力并实现商业价值。本文按照需求分析、总体设计、详细设计等软件开发流程从0到1地实现了KPI(Key Performance Indicator,关键性能指标)监控系统。根据业务需求和功能需求将系统划分为数据采集、数据处理、系统登录鉴权、数据可视化、监控管理以及监控报警六大模块。数据采集模块通过SDK(Software Development Kit,软件开发工具包)埋点上报用户行为数据至日志服务器形成日志文件,使用日志采集工具Flume采集日志信息并将数据传输到消息队列Kafka中。数据处理模块采用流处理工具Flink划分滑动窗口,再通过聚合算子实现维度聚合。监控管理模块采用典型的生产者消费者模式实现监控任务的异步调度。在监控报警模块,考虑到时间序列异常检测样本类别不均衡、异常样本少且获取异常标签成本高昂,本文采用无监督学习的深度生成模型VAE(Variational Auto-Encoder,变分自编码器)和GAN(Generative Adversarial Networks,生成对抗网络)实现KPI异常检测。此外,异常检测过程中需要设置异常阈值,传统的人工阈值法依靠运维人员的经验并且需要不断调整阈值以保证报警准确率和召回率,工作量较大。因此,本文基于Linux操作系统TCP协议的RTO(Retransmission Timeout,超时重传机制)思想提出一种基于平滑均值与平滑标准差的自适应阈值,不仅节省了人力成本,而且在保证报警准确率的前提下,降低了阈值更新时服务器计算资源的消耗。在自动归因部分,为了解决传统人工归因成本高、耗时长的问题,本文通过JS(Jensen Shannon)散度量化属性异常贡献度,使用贪心搜索策略将根因定位问题转换为属性值组合的空间搜索问题。在测试阶段,从系统主要功能以及性能、稳定性、安全性等非功能方面设计测试用例进行系统测试,测试结果符合预期,达到上线标准。目前,系统已通过产品验收并在线上平稳运行。从使用效果来看监控报警准确率和召回率均符合预期,能够有效地帮助企业实时分析和监控产品性能,快速发现、定位、解决问题,降低企业维护成本,保证系统的稳定性和可靠性,具有实际意义。
基于强化学习的淘宝商品推荐方法研究
这是一篇关于商品推荐,GAN,马尔可夫决策过程,强化学习,DNQ的论文, 主要内容为5G的到来再度提高数据的产生速度,信息过载的问题将进一步加剧,电子商务行业发展迅速,覆盖面越来越广,商品种类日益丰富,用户数量日益庞大,买家如何找到自己心仪的商品,卖家如何向买家展示商品都出现了阻碍,推荐系统是解决这一问题的良好方法。然而以往的推荐算法大多将推荐过程看成一个静态的过程,这与实际不符,推荐应该是一个推荐系统与用户不断交互的过程。强化学习的发展可以较好的解决动态互动的问题,且推荐的过程恰好是这类问题。因此,本文构建了一个基于强化学习的淘宝商品推荐系统,并用淘宝的用户行为数据对该系统进行训练与验证。具体地,该系统通过如下方式建立:首先,本文建立数据池,将用户行为涉及的商品及用户反馈数据输入神经网络,并在神经网络中对数据进行特征提取,得到用户的喜好特征。其次,本文建立了一个基于生成式对抗网络的模拟推荐环境,可以模拟推荐系统与用户的交互过程,该网络的生成器生成推荐动作,判别器模拟用户反馈。接着,本文建立基于强化学习的淘宝商品推荐系统,用马尔可夫决策过程对淘宝商品推荐过程进行建模,并建立DNQ模型求解推荐过程。在DNQ模型中,本文建立了Q网络和target-Q网络用于预测Q-Learning过程不同状态与动作组合的Q值,并用淘宝的用户行为数据及模拟推荐环境生成的数据对模型进行训练。最后,本文用测试集对训练好的模型进行测试,得到推荐的五步累计奖励值的平均值较高,模型推荐效果较好,通过实验结果,本文发现基于强化学习的推荐系统能够较好的预测用户的行为,提供的推荐内容获得的累计奖励较高,而多样性和覆盖率方面效果则不是很好,仍待提高。
基于生成对抗网络的沙尘图像增强算法研究
这是一篇关于沙尘图像增强,GAN,Transformer,CNN的论文, 主要内容为沙尘天气多发于我国北方地区,由于沙尘颗粒与传播光线发生吸收、散射等光学作用,导致沙尘天气下采集的图像和视频严重退化,具体表现为颜色失真、对比度低和色调昏暗。这对户外依赖于计算机视觉的应用产生了严重的不利影响,如基于图像的远程智能监控系统和交通监控系统。沙尘图像增强算法作为计算机视觉领域的重要分支具有广阔的应用前景和重要的现实意义。近年来,生成对抗网络(GAN)在图像增强领域得到了广泛应用,该模型通过学习数据分布来生成更加真实的图像。在此背景下,本文针对GAN模型在沙尘图像增强处理中的应用进行研究,具体内容如下:(1)针对传统沙尘图像增强方法无法完全矫正色偏等问题,设计了一个基于GAN模型的端到端沙尘图像增强网络,其中生成器采用U-Net和ResNet结构,通过最大最小博弈来学习源域到目标域的映射,同时通过跳跃连接避免梯度消失问题;判别器采用patchGAN的模型架构,用来判断图像的真实性。(2)针对第三章提出的基于CNN的沙尘图像增强生成对抗网络泛化能力不足导致真实沙尘图像性能不佳的问题,提出了一种基于Transformer和直方图均衡化的GAN模型。首先采用一种高效Transformer(名为Restormer)改进生成器网络,弥补了 CNN感受野有限,无法关注全局上下文信息的缺点,使得沙尘图像的增强效果更好。然后为了应对复杂的沙尘环境,我们采用直方图均衡化来补充上述GAN网络,从而获得质量更高的图像。大量实验表明,网络的泛化能力得到了有效提升。(3)使用合成沙尘图像和真实沙尘图像对本文提出的算法进行实验,分别从主观和客观两个方面进行评价,同时通过与多种沙尘图像增强算法和GAN模型进行对比实验来验证本文方法的有效性,并且设计了相应的消融实验来探索各个组成部分对沙尘图像增强的贡献。另外,将本文算法应用于车辆检测、人体检测、车牌识别和人流量统计这四个领域,实验结果表明,本文算法可以有效提升上述应用的性能,具有重要的研究意义和实际应用价值。
基于深度学习的路面病害检测研究
这是一篇关于深度学习,路面病害检测,YOLOX,GAN,数据增强的论文, 主要内容为近年来,由于对公路的使用量大幅增加,导致路面病害日益增多,公路的使用寿命迅速缩短。与此同时,路面病害未及时修缮致使交通事故频出,对于路面病害的检测成为了当下研究的热点,尤其是针对检测算法的准确性和实时性方面的研究。本文提出了基于深度学习的高效目标检测方法实现路面病害的自动化检测,该方法可以有效减少人力物力,有助于带动交通的安全发展。基于深度学习的目标检测方法往往需要构建高精度的大型卷积神经网络,但是受限于小型嵌入式设备以及移动设备等有限的计算资源,大型网络模型难以部署在此类应用场景中。针对上述问题,本文首先通过生成对抗网络来深度增强数据的任务性,其次提出了改进后的Ghost Net-YOLOX轻量级检测模型,实现了对道路病害准确、实时的自动化检测,最后在嵌入式平台完成检测系统的构建,并完成了基于PyQt的软件开发。本文的创新及主要工作如下:(1)针对路面病害图像细节丢失导致模型学习效率低的问题,本文提出了基于生成对抗网络的路面病害检测方法。该方法是基于Wasserstein生成式对抗网络的横向裂缝、纵向裂缝、坑陷的关键目标图像重塑增强算法UGAN-2G,同时增强目标检测的多任务性;并提出了自映射梯度联合U型的网络作为生成器,引入Res Net思想,无监督的完成病害目标图像的重塑细节,提高了网络使用效率;为了增强重塑效果,本文将图像像素损失与对抗损失组合成为生成器的损失进行训练,提高了模型的鲁棒性。最后,将生成数据通过图像合成技术应用于YOLOv5和YOLOX模型进行实验,证明了该方法提高了路面病害自动化检测的精度。(2)针对计算资源有限的硬件环境导致模型的使用率低的问题,本文基于YOLOX提出Ghost Net-YOLOX轻量级路面病害识别模型。该模型首先将YOLOX主干网络替换为优化后的Ghost Net来减少网络计算参数量,构建DAM(Dimensional Attention Model)代替Ghost Bottleneck模块中的SE模块,从而充分利用有限的网络容量进行强化特征学习;然后提出DFM(Deep Fusion Model)模块来改进PANet并以此对高低特征层进行深度融合获取更加丰富的特征信息;最后优化损失函数准确拟合检测框位置,并引入Image-Multitasking数据增强方法来强化目标图像任务性,提高了网络的泛化能力和鲁棒性。(3)基于Jetson TX嵌入式平台设计了路面病害检测系统。该系统通过GStreamer技术对数据流进行解码,采用Tensor RT对模型进行加速,以及多线程解决视频卡顿,通过实验结果表明,该检测可以满足路面检测的实时性和准确性要求。最后,利用PyQt实现了检测模型的人机交互软件设计。
面向短视频消费的KPI监控系统的设计与实现
这是一篇关于KPI监控系统,异常告警,VAE,GAN的论文, 主要内容为随着互联网的迅速普及和广泛应用,人们的生活和网络服务变得密不可分,娱乐方式也更加多元化。近几年,短视频行业迅速崛起并成为一种主流的娱乐方式,各短视频平台为了提升产品性能保障用户体验,对海量用户行为数据进行实时分析和监控,以便能够及时发现问题并采取相应的措施,从而保证产品的核心竞争力并实现商业价值。本文按照需求分析、总体设计、详细设计等软件开发流程从0到1地实现了KPI(Key Performance Indicator,关键性能指标)监控系统。根据业务需求和功能需求将系统划分为数据采集、数据处理、系统登录鉴权、数据可视化、监控管理以及监控报警六大模块。数据采集模块通过SDK(Software Development Kit,软件开发工具包)埋点上报用户行为数据至日志服务器形成日志文件,使用日志采集工具Flume采集日志信息并将数据传输到消息队列Kafka中。数据处理模块采用流处理工具Flink划分滑动窗口,再通过聚合算子实现维度聚合。监控管理模块采用典型的生产者消费者模式实现监控任务的异步调度。在监控报警模块,考虑到时间序列异常检测样本类别不均衡、异常样本少且获取异常标签成本高昂,本文采用无监督学习的深度生成模型VAE(Variational Auto-Encoder,变分自编码器)和GAN(Generative Adversarial Networks,生成对抗网络)实现KPI异常检测。此外,异常检测过程中需要设置异常阈值,传统的人工阈值法依靠运维人员的经验并且需要不断调整阈值以保证报警准确率和召回率,工作量较大。因此,本文基于Linux操作系统TCP协议的RTO(Retransmission Timeout,超时重传机制)思想提出一种基于平滑均值与平滑标准差的自适应阈值,不仅节省了人力成本,而且在保证报警准确率的前提下,降低了阈值更新时服务器计算资源的消耗。在自动归因部分,为了解决传统人工归因成本高、耗时长的问题,本文通过JS(Jensen Shannon)散度量化属性异常贡献度,使用贪心搜索策略将根因定位问题转换为属性值组合的空间搜索问题。在测试阶段,从系统主要功能以及性能、稳定性、安全性等非功能方面设计测试用例进行系统测试,测试结果符合预期,达到上线标准。目前,系统已通过产品验收并在线上平稳运行。从使用效果来看监控报警准确率和召回率均符合预期,能够有效地帮助企业实时分析和监控产品性能,快速发现、定位、解决问题,降低企业维护成本,保证系统的稳定性和可靠性,具有实际意义。
基于深度学习的路面病害检测研究
这是一篇关于深度学习,路面病害检测,YOLOX,GAN,数据增强的论文, 主要内容为近年来,由于对公路的使用量大幅增加,导致路面病害日益增多,公路的使用寿命迅速缩短。与此同时,路面病害未及时修缮致使交通事故频出,对于路面病害的检测成为了当下研究的热点,尤其是针对检测算法的准确性和实时性方面的研究。本文提出了基于深度学习的高效目标检测方法实现路面病害的自动化检测,该方法可以有效减少人力物力,有助于带动交通的安全发展。基于深度学习的目标检测方法往往需要构建高精度的大型卷积神经网络,但是受限于小型嵌入式设备以及移动设备等有限的计算资源,大型网络模型难以部署在此类应用场景中。针对上述问题,本文首先通过生成对抗网络来深度增强数据的任务性,其次提出了改进后的Ghost Net-YOLOX轻量级检测模型,实现了对道路病害准确、实时的自动化检测,最后在嵌入式平台完成检测系统的构建,并完成了基于PyQt的软件开发。本文的创新及主要工作如下:(1)针对路面病害图像细节丢失导致模型学习效率低的问题,本文提出了基于生成对抗网络的路面病害检测方法。该方法是基于Wasserstein生成式对抗网络的横向裂缝、纵向裂缝、坑陷的关键目标图像重塑增强算法UGAN-2G,同时增强目标检测的多任务性;并提出了自映射梯度联合U型的网络作为生成器,引入Res Net思想,无监督的完成病害目标图像的重塑细节,提高了网络使用效率;为了增强重塑效果,本文将图像像素损失与对抗损失组合成为生成器的损失进行训练,提高了模型的鲁棒性。最后,将生成数据通过图像合成技术应用于YOLOv5和YOLOX模型进行实验,证明了该方法提高了路面病害自动化检测的精度。(2)针对计算资源有限的硬件环境导致模型的使用率低的问题,本文基于YOLOX提出Ghost Net-YOLOX轻量级路面病害识别模型。该模型首先将YOLOX主干网络替换为优化后的Ghost Net来减少网络计算参数量,构建DAM(Dimensional Attention Model)代替Ghost Bottleneck模块中的SE模块,从而充分利用有限的网络容量进行强化特征学习;然后提出DFM(Deep Fusion Model)模块来改进PANet并以此对高低特征层进行深度融合获取更加丰富的特征信息;最后优化损失函数准确拟合检测框位置,并引入Image-Multitasking数据增强方法来强化目标图像任务性,提高了网络的泛化能力和鲁棒性。(3)基于Jetson TX嵌入式平台设计了路面病害检测系统。该系统通过GStreamer技术对数据流进行解码,采用Tensor RT对模型进行加速,以及多线程解决视频卡顿,通过实验结果表明,该检测可以满足路面检测的实时性和准确性要求。最后,利用PyQt实现了检测模型的人机交互软件设计。
脑胶质瘤磁共振图像精准自动化分割方法研究
这是一篇关于脑胶质瘤MRI,多模态,U-Net,注意力机制,像素对比学习,GAN的论文, 主要内容为脑胶质瘤是最常见的原发性中枢神经系统肿瘤之一,具有极高的发病率和致死率。磁共振成像(Magnetic Resonance Imaging,MRI)能对大脑软组织进行高空间分辨率和高对比度成像,是医生进行脑胶质瘤影像诊断的最佳选择,但人工判读的过程不仅费时费力,而且严重依赖于主观经验,存在极大不稳定性。目前,基于深度学习的图像分割算法能够实现脑胶质瘤的自动化分割,有效地提高了医生的诊断效率。然而,由于脑胶质瘤存在边缘模糊、多模态、语义信息单一等特点,脑胶质瘤的精准自动化分割算法研究仍是一项具有挑战性的任务。因此,本文围绕脑胶质瘤磁共振图像精准自动化分割方法展开研究,主要工作包括:(1)为了解决肿瘤组织边缘分割模糊以及多模态图像特征难以得到有效利用的问题,提出了基于双流编码网络的双注意力U-Net脑胶质瘤分割模型—TD-UNet。首先,提出一种双流编码网络TSE,使用两条卷积网络支路同时对原始图像和包含边缘信息的梯度图像进行特征提取与逐层融合,提高对肿瘤边缘像素特征的学习能力。其次,在UNet的跳跃连接层加入双注意力模块DAM,从特征通道和像素区域角度对不同模态特征分配不同注意力权重,缓解原始U-Net深浅特征结合时语义不一致的问题。最后,在公开的Bra TS脑胶质瘤数据集上证明了提出的模型在三个不同肿瘤区域的分割性能均优于现有经典分割模型。(2)为了解决像素标签多尺度特征差异信息和全局像素语义信息未被利用的问题,在TD-UNet的基础上进一步提出了基于生成对抗网络和像素对比学习的脑胶质瘤分割方法—GAN-PCL。首先,使用生成对抗网络的训练模式,利用设计的多尺度全卷积判别网络来计算预测标签和真实标签之间的多尺度特征编码误差,辅助生成网络提升在细节上的分割效果。其次,引入像素对比学习,通过开发的内存库扩大对比学习的对比范围,同时在像素高维投影空间中利用像素对比损失函数提高生成网络对不同语义像素的区分度。最后,在Bra TS脑胶质瘤数据集上证明了提出的方法能够进一步提升TD-UNet的分割效果,整体分割性能优于现有最新脑胶质瘤分割方法。(3)设计并开发了一个脑胶质瘤分割辅助系统。基于前述理论和关键算法,结合实际业务需求,以Spring Boot技术和Vue.js技术作为核心框架,开发了一个面向专业医生的脑胶质瘤分割辅助系统,辅助医生诊断,提高医生诊断效率。
基于时间序列的生成对抗网络个性化推荐
这是一篇关于推荐算法,深度学习,GAN,CNN,RNN,相似度的论文, 主要内容为随着科技的发展,科技产品的普及,以及大数据时代的到来等跨时代的变化,人们所能使用的数据信息量也在不断的增大。如何在繁杂无序的信息中快速精准的找到自己真正感兴趣的信息变成了每个用户所苦恼的问题。为此孕育而生的搜索引擎,能通过用户输入的关键字进行信息过滤,极大的加快了用户筛选信息速度,一定程度上的解决了“信息过载”的问题。然而在无法准确描述自身需求的情况下,搜索引擎便不能提供优质的服务。因此,诞生了更加亲和用户的个性化推荐。个性化推荐便是通过各种推荐算法对项目属性、用户行为等特征信息进行分析,再通过推荐系统为用户提供其真正喜欢的项目。近几年来,深度学习作为机器学习的新兴学科分支,已然成为了互联网大数据和人工智能的主流。在推荐系统领域,也开始关注推荐系统与深度学习模型的融合。与传统的推荐算法相比,基于深度学习模型的推荐算法,融合了深度学习的优点。例如,自动学习用户或者项目的抽象特征,能够使用多种类型的数据作为输入,能比传统推荐系统提取更多隐藏特征的能力。这些都能够使模型更好的找出用户偏好并提高推荐的准确率。本文工作主要以深度学习和推荐系统为基础,通过对深度学习模型、推荐算法和基于深度学习的推荐算法的深入研究,提出融入时间序列的生成对抗网络应用到推荐系统中,其主要用于用户-项目之间的隐特征提取和用户-项目评分预测。同时,根据循环神经网络的思想,本文还提出了一种基于循环生成对抗网络的个性化推荐算法。主要工作如下:(1)针对本文的研究目的,深度了解个性化推荐算法以及当前流行的深度学习模型,重点研究在特征提取、无监督学习和时间特征传递上有显著效果的模型。同时,为了做效果对比,对协同过滤和矩阵分解算法做了大量的研究。为本研究打下了坚实的理论基础。(2)提出了评论数量差异这个指标。由于传统的协同过滤算法是通过余弦相似度等方法,计算用户评价向量之间的偏差作为相似度。这种方法在两个用户的评论数量相差较大时,相对的其相似度的可信性就会降低。因此,用评论数量差异指标让评论数量差异较大的用户的相似度提升,一定程度上的解决了因为评论数量不同导致的相似度偏差。(3)将融入时间序列的生成对抗网络应用于推荐。这是本文研究的核心之一。运用了卷积神经网络特征提取和生成对抗网络对抗概念,并融入时间序列。以此来避免复杂的隐特征提取问题。同时生成器和时间序列的融入能让推荐结果不再单一不变且有迹可循。(4)通过对项目分类或聚类,替换矩阵中的项目的方法,一定程度上的解决了推荐覆盖率不高且训练时间长的问题。生成对抗网络的推荐覆盖率不高,主要是受限于矩阵的大小。因此,在无法扩大矩阵大小的情况下,替换训练矩阵数据,以此保存不同的训练结果模型。(5)提出循环生成对抗网络。结合了循环神经网络和生成对抗网络的思想,让数据的时间信息直接在模型中传递。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:毕设货栈 ,原文地址:https://bishedaima.com/lunwen/47968.html