基于农产品追溯平台的预警系统的研究与实现
这是一篇关于预警模型,马尔科夫模型,卷积神经网络,多维数据的论文, 主要内容为农业耕作是一项特殊、复杂、独立的工作,同时也是最重要的工作,它关系到人类健康和整个生态循环。随着我国农业的快速发展,同时因为对农产品的监管还没有达到一定程度,农产品质量安全事件频频发生,这不仅对人们日常生活构成了巨大威胁,也严重影响了整个社会经济的增长。越来越多不同层次的消费者对农产品的安全、健康、质量保障意识的需求也在不断增加。社会信息化的发展,给监管农业生产、销售流程带来了有效的监管方案。利用信息技术,构建农产品及其投入品的来源、成份、加工以及流向信息等完整信息链显得十分重要,这类产品历史信息称之为追溯信息。在现如今已有的追溯系统中,均采用阈值设计方法对追溯信息进行异常数据检测。可是对于复杂的产品方向需要设计的阈值较为复杂,且需要专家进行阈值判断,工作量较大。本文以此为背景,研究农产品追溯平台中异常产品数据的预警问题,在传统的果蔬、肉类和乳品等阈值预警等预警体系基础上,结合马尔科夫模型和卷积神经网络算法设计异常检测模型,并开发异常数据自主检测系统。实现农产追溯平台中的异常自主检测和追踪。针对不同的情况,在充分考虑不同农产品数据的特性的条件下创建阈值管理系统;针对某一农产品的单一数据建立马尔科夫模型,进行预测下一个时间点的数值,并根据不同预测值的概率判断是否进行异常预警;根据不同产品流通点和不同产品之间的特点创建特征矩阵,根据矩阵中数据走向趋势判断是否属于异常数据。系统采用Spark+Kafka大数据处理架构,以及以java语言为基础的web开发技术,并且以Mysql做为后台数据库进行开发实现预警系统中模块的功能。使用该架构实现了农产品预警系统所需要的实时性、高并发性和高容错性等要求。本系统实现了农产品在整个供应链中的数据异常预警,旨在降低不必要的农产品损耗、提高农产品异常检测效率、保障农产品质量安全。本系统以一种完善的流程控制、信息查询及管理、警情预测等功能为监管部门提供事前预警和问题追踪。
面向APT攻击检测的网络知识图谱构建
这是一篇关于APT攻击,编辑距离,行为归约,马尔科夫模型,知识图谱的论文, 主要内容为高级持续性威胁(APT)具有针对性强、隐蔽性好、破坏性大等特点,其攻击检测面临严峻挑战。传统攻击检测方法均是针对APT攻击生命周期中某一个或部分阶段因而对APT攻击检测效果差。基于网络行为特征的异常检测方法覆盖APT攻击全生命周期数据,但因网络自相似性导致其误报率高;因需处理大规模网络原始数据导致高资源消耗;同时需要建立支撑APT攻击检测的网络行为知识库。因此本文在现有网络行为异常检测技术的基础上,结合网络行为时间步阶,提出了一种基于网络行为多维特征编辑距离的网络行为归约方法;从网络行为间逻辑关系角度入手,提出了一种基于马尔科夫模型的网络行为逻辑链构建方法;基于知识图谱技术,构建了面向APT攻击检测的网络知识图谱。针对当前异常检测方法需处理大规模网络原始数据而引发的高功耗、低检测效率等问题,提出了基于网络行为多维特征编辑距离的网络行为归约方法,通过网络行为多维特征将网络行为量化表征,计算待检测网络行为与预设网络行为各字段编辑距离,通过对不同字段采取不同匹配策略,结合网络行为时间步阶,实现网络行为归约;实验结果表明,在不降低网络行为有效信息量的情况下,本文提出的方法将数据量降低到原有数据规模的10%以下,为低功耗的APT攻击检测提供了支撑。针对当前异常检测方法依赖于网络自相似性而导致的高误报率问题,提出了一种基于马尔科夫模型的网络行为逻辑链构建方法,通过马尔科夫模型提取网络行为间状态移概率、状态转移分布等特征,挖掘网络行为间逻辑关系,构建网络行为逻辑链,并结合随机游走策略去除关系性较弱的链。针对当前APT检测研究中缺乏支撑APT攻击检测的网络知识库的问题,基于知识图谱技术,依据构建的网络行为逻辑链,以网络行为为节点、网络行为转移关系为边,网络行为状态转移概率等特征为边属性,构建网络知识图谱,为未知APT攻击检测提供支撑。实验表明,本文构建的知识图谱用于APT攻击检测,在基于NS-3构建的仿真数据集上,漏报率为6.27%,误报率为5.64%,检测效果均高于同类APT攻击检测方法。基于上述研究的技术和方法,设计并实现了面向APT攻击的仿真验证平台,实现了网络流量采集、网络数据预处理、网络知识图谱管理、APT攻击检测等模块。通过APT模拟工具攻击测试表明,本平台在进行APT攻击检测时,数据预处理时间更短,误报率更低,验证了所提出方法的可行性和有效性。
基于大数据的铁路安全管理平台研究
这是一篇关于大数据,铁路安全管理,马尔科夫模型,异物侵限,设备检测的论文, 主要内容为随着科技的进步,我国铁路信息化的程度也越来越高。在铁路安全管理方面,我国普铁及高铁系统已经建成的安全监测、监控及指挥调度系统就多达60多个,全面涵盖了车、机、工、电、辆等领域,每日产生的安全管理相关信息数据量在PB级别。当前我国铁路安全领域已经进入大数据时代,传统数据存储、传输和分析技术已经难以满足对如此庞大的数据资源进行分析利用的要求,因此必须要应用一系列更为高效先进的安全管理技术,才能充分利用铁路安全管理信息数据,并且对海量的数据进行深度智能挖掘分析,做好各类风险隐患的预测防控,真正实现将安全事故防患于未然。本文主要设计和实现了基于大数据的铁路安全管理系统。论文首先对国内外铁路安全管理的研究现状进行了分析;然后介绍了相关理论和技术,理论部分主要分析了安全管理理论、大数据管理理论、铁路安全管理特点,技术部分主要分析了软硬件介绍、系统实现的程序语言、Tomcat服务器、隐马尔可夫模型、蚁群算法;接着提出了基于大数据平台的铁路安全管理体系构建,主要包括基于大数据的铁路安全管理体系、铁路大数据安全管理体系的应用、安全管理平台技术研究及应用;再接着介绍了基于大数据平台的铁路安全管理系统需求分析,主要从铁路安全管理系统的数据现状、铁路人员相关的大数据需求分析、铁路环境相关的大数据分析需求、数据需求分析、性能分析、可行性分析;同时,本文根据需求分析,对整个系统进行了设计,主要工作有系统架构设计、总体功能设计、数据库设计、网络结构设计、安全性设计。最后,在结合目前比较流行的Java技术、Jsp技术、MySQL数据库技术、大数据技术、隐马尔可夫算法、蚁群算法等技术实现系统的功能,主要功能包括身份识别、铁路设备故障诊断、铁路设备安全风险评估、铁路沿线自然灾害预测、铁路异物侵限监测。在完成了系统的实现工作后,本文又对整个系统的功能、性能、耐压情况进行了测试,测试的结果显示整个系统功能部分基本都能实现,性能良好,耐压情况有待提高。本文的研究意义是利用现代化的技术手段,特别是大数据技术,将铁路各个部分传感器所收集的数据进行数据挖掘,服务于身份识别、设备故障诊断、设备安全风险评估、自然灾害预测、异物侵限监测等部分,保障各个列车的正常运行,提前预知可能存在的危险,使整个铁路的安全管理变得有序、高效、精准。
面向APT攻击检测的网络知识图谱构建
这是一篇关于APT攻击,编辑距离,行为归约,马尔科夫模型,知识图谱的论文, 主要内容为高级持续性威胁(APT)具有针对性强、隐蔽性好、破坏性大等特点,其攻击检测面临严峻挑战。传统攻击检测方法均是针对APT攻击生命周期中某一个或部分阶段因而对APT攻击检测效果差。基于网络行为特征的异常检测方法覆盖APT攻击全生命周期数据,但因网络自相似性导致其误报率高;因需处理大规模网络原始数据导致高资源消耗;同时需要建立支撑APT攻击检测的网络行为知识库。因此本文在现有网络行为异常检测技术的基础上,结合网络行为时间步阶,提出了一种基于网络行为多维特征编辑距离的网络行为归约方法;从网络行为间逻辑关系角度入手,提出了一种基于马尔科夫模型的网络行为逻辑链构建方法;基于知识图谱技术,构建了面向APT攻击检测的网络知识图谱。针对当前异常检测方法需处理大规模网络原始数据而引发的高功耗、低检测效率等问题,提出了基于网络行为多维特征编辑距离的网络行为归约方法,通过网络行为多维特征将网络行为量化表征,计算待检测网络行为与预设网络行为各字段编辑距离,通过对不同字段采取不同匹配策略,结合网络行为时间步阶,实现网络行为归约;实验结果表明,在不降低网络行为有效信息量的情况下,本文提出的方法将数据量降低到原有数据规模的10%以下,为低功耗的APT攻击检测提供了支撑。针对当前异常检测方法依赖于网络自相似性而导致的高误报率问题,提出了一种基于马尔科夫模型的网络行为逻辑链构建方法,通过马尔科夫模型提取网络行为间状态移概率、状态转移分布等特征,挖掘网络行为间逻辑关系,构建网络行为逻辑链,并结合随机游走策略去除关系性较弱的链。针对当前APT检测研究中缺乏支撑APT攻击检测的网络知识库的问题,基于知识图谱技术,依据构建的网络行为逻辑链,以网络行为为节点、网络行为转移关系为边,网络行为状态转移概率等特征为边属性,构建网络知识图谱,为未知APT攻击检测提供支撑。实验表明,本文构建的知识图谱用于APT攻击检测,在基于NS-3构建的仿真数据集上,漏报率为6.27%,误报率为5.64%,检测效果均高于同类APT攻击检测方法。基于上述研究的技术和方法,设计并实现了面向APT攻击的仿真验证平台,实现了网络流量采集、网络数据预处理、网络知识图谱管理、APT攻击检测等模块。通过APT模拟工具攻击测试表明,本平台在进行APT攻击检测时,数据预处理时间更短,误报率更低,验证了所提出方法的可行性和有效性。
基于农产品追溯平台的预警系统的研究与实现
这是一篇关于预警模型,马尔科夫模型,卷积神经网络,多维数据的论文, 主要内容为农业耕作是一项特殊、复杂、独立的工作,同时也是最重要的工作,它关系到人类健康和整个生态循环。随着我国农业的快速发展,同时因为对农产品的监管还没有达到一定程度,农产品质量安全事件频频发生,这不仅对人们日常生活构成了巨大威胁,也严重影响了整个社会经济的增长。越来越多不同层次的消费者对农产品的安全、健康、质量保障意识的需求也在不断增加。社会信息化的发展,给监管农业生产、销售流程带来了有效的监管方案。利用信息技术,构建农产品及其投入品的来源、成份、加工以及流向信息等完整信息链显得十分重要,这类产品历史信息称之为追溯信息。在现如今已有的追溯系统中,均采用阈值设计方法对追溯信息进行异常数据检测。可是对于复杂的产品方向需要设计的阈值较为复杂,且需要专家进行阈值判断,工作量较大。本文以此为背景,研究农产品追溯平台中异常产品数据的预警问题,在传统的果蔬、肉类和乳品等阈值预警等预警体系基础上,结合马尔科夫模型和卷积神经网络算法设计异常检测模型,并开发异常数据自主检测系统。实现农产追溯平台中的异常自主检测和追踪。针对不同的情况,在充分考虑不同农产品数据的特性的条件下创建阈值管理系统;针对某一农产品的单一数据建立马尔科夫模型,进行预测下一个时间点的数值,并根据不同预测值的概率判断是否进行异常预警;根据不同产品流通点和不同产品之间的特点创建特征矩阵,根据矩阵中数据走向趋势判断是否属于异常数据。系统采用Spark+Kafka大数据处理架构,以及以java语言为基础的web开发技术,并且以Mysql做为后台数据库进行开发实现预警系统中模块的功能。使用该架构实现了农产品预警系统所需要的实时性、高并发性和高容错性等要求。本系统实现了农产品在整个供应链中的数据异常预警,旨在降低不必要的农产品损耗、提高农产品异常检测效率、保障农产品质量安全。本系统以一种完善的流程控制、信息查询及管理、警情预测等功能为监管部门提供事前预警和问题追踪。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码工坊 ,原文地址:https://bishedaima.com/lunwen/52435.html