基于日志异常分析的态势感知系统研究与实现

这是一篇关于态势感知,LSTM,Wazuh,日志异常分析的论文, 主要内容为近年来,随着计算机的普及和应用,日志安全威胁也在不断升级,对计算机的可用性和安全性提出了新的挑战,如何应对这些挑战成为摆在每一个运维人员面前的难题。日志态势感知系统的出现,为企业和组织提供了一种新的安全解决方案,可以实现对系统日志的实时监控和分析,快速发现和应对潜在的安全威胁,提升设备安全保障能力。现如今,日志态势感知系统经过不断完善,逐渐成为一种成熟的安全解决方案,实现了从日志收集、实时分析到可视化展示和自动化响应的全流程安全保障,成为企业和组织安全防御的重要组成部分。本文研究并设计了基于日志异常分析的态势感知系统,该系统针对实时日志和离线日志分别提出了基于Wazuh的主机日志实时告警和基于LSTM的离线日志安全趋势预测关键技术,实现了对系统全方位的威胁情况感知。首先,针对实时日志,通过Wazuh实时采集代理端日志,根据所配置的规则集进行分析和告警,实现了基于规则的日志异常分析,并在系统构建过程中采用ELK(Elasticsearch、Logstash和Kibana)进行实时日志管理,利用Logstash收集Wazuh的实时日志分析结果,存储至My SQL数据库,从而使该系统能够实时有效地收集和检测系统当前环境的异常情况。其次,针对离线日志,使用Spell方法进行解析,通过日志键编码和日志参数编码完成特征提取,构建基于日志异常分析的LSTM预测模型,实现对日志的异常预测,有助于验证系统历史环境下的安全状态变化。最后,通过Springboot框架和My SQL数据库,实现了基于日志异常分析的态势感知系统,将分析结果进行可视化呈现。本文设计的基于日志异常分析的态势感知系统兼顾了实时日志与离线日志,能够对系统日志进行收集、处理、分析和可视化,帮助用户了解系统的运行状态和安全情况,快速识别和响应潜在的安全威胁,在设备安全保障中发挥重要作用,从而推动数据安全建设和助力数据安全治理。

基于B/S架构的全球玉米贸易态势可视化系统研究与实现

这是一篇关于玉米国际贸易,数据可视化,态势感知,决策,管理的论文, 主要内容为农产品国际贸易向开放式、多元化、多极化发展,涉及国内外农业生产和流通系统,以及政治经济等多个层面,其决策的复杂性和战略性十分突出,要求决策者在大量分析信息的基础上开展创造性思维与判断。然而,传统决策支持技术与系统未能有效结合数据挖掘分析能力与决策者的认知能力,其决策支持效果不明显。玉米作为中国重要进出口粮食作物,在国家粮食安全战略管理中居重要地位,本研究以我国玉米国际贸易为例,引入态势感知技术,通过构建玉米贸易的“态”与“势”,为决策者呈现全景化的决策视图,以可视化为主要手段有效实现了对决策者创造性思维的支持。本研究基于Python数据处理技术,形成玉米国际贸易数据库,构建支撑政府决策管理的全球玉米贸易态势可视化系统。主要研究内容如下:(1)全球玉米贸易态势可视化系统需求分析。通过文献调研、专业领域学者访谈等,明确了玉米国际贸易的“态”和“势”与分析指标设计,明确系统多主题展示、系统快速响应及人机交互等功能需求。(2)全球玉米贸易态势可视化系统实现。针对多主题展示需求,系统明确玉米贸易态势分析的指代指标,提取支持多主题、多维度同步演示需求指标的数据开展并行计算,并通过前端可视化技术将数据转化为多主题视图,实现玉米贸易态势的全景展示;针对数据快速响应需求,系统采用Python数据处理和分析技术,有效改进系统的响应能力,确保玉米贸易态势分析效率提升。针对人机交互需求,系统采用PyEcharts和Tableau.js两种可视化技术,结合系统快速响应能力加速数据缩放、过滤与关联,支持数据多层钻取,基于良好的交互体验提高用户对数据的洞察能力。此外,系统支持地图可视化、文本可视化和关系可视化等多种可视化方法,支撑多主题视图同步呈现。(3)系统测试与评估。通过SoapUI测试工具对可视化视图进行模拟压力测试,系统响应能力较强。全球玉米贸易态势可视化系统可以有效地辅助政府决策管理,该系统实现了国际贸易决策场景的多主题同步演示,支持用户在有限的屏幕空间内获得更多有效数据信息,开展全球玉米国际贸易态势的综合研判。系统支持用户开展多维度数据的实时提取与多层钻取,可根据不同用户视觉感知习惯与方法的差异性实现多主题视图统一展示和同主题视图的差异展示,便于用户根据个人偏好开展数据解读、分析与洞察,为用户提供便捷化全球玉米贸易态势分析工具。

基于蜜网的物联网威胁发现和态势感知

这是一篇关于物联网,蜜网,威胁发现,恶意样本分类,态势感知的论文, 主要内容为近年来,随着人们对智能生活的需求,物联网产业得到了飞速发展。据调查,物联网设备规模已经突破百亿级。如此海量的物联网设备,虽然可以极大地改善我们的生活环境,但也隐藏着巨大的安全隐患。同时,物联网设备因为其设备资源有限、操作系统架构繁多等特点难以部署常规的网络安全措施,更容易受到攻击。当前,保护物联网安全迫在眉睫,但国内外研究尚处于起步阶段,各学者提出了多种防护手段,从宏观角度给出的安全解决方案却较少。本文设计实现了一个物联网安全态势感知系统。该系统通过在多个物理节点部署不同种类的物联网蜜罐构成了复合蜜网,从而对物联网网络的实时安全状况进行检测、及时发现恶意威胁。该系统还使用蜜网捕获的物联网恶意样本训练了家族分类模型,以便对蜜网实时捕获的未知样本进行分析,获知其所属的恶意样本家族。另外,通过分析和处理蜜网获取的大量威胁情报,本文制定了一系列安全策略来对威胁情报进行评级,从不同视角给出了当前物联网的风险程度。本文还设计了数据可视化系统,对恶意请求随时间的变化走向、攻击者的地理位置分布、攻击者采用的攻击手段等内容进行了直观的展示。各部分的详细内容如下:根据CVE-2017-17215漏洞开发实现了可以模拟特定系列路由器UPnP服务的中高交互蜜罐,它具有服务模拟、日志记录、恶意样本下载、服务自检等功能。由于模拟的UPnP服务细节有限,为了防止蜜罐接收到不能识别的恶意请求而无法响应,本文又选用漏洞相应的真实物联网设备固件搭建了一种高交互蜜罐。本文还对2018年暴露最为严重的SOAP服务端口进行了调研,并依此设计了相应的多端口蜜罐来提高蜜网的捕获能力。另外,本文还应用Docker技术对蜜罐进行了封装,精简了蜜罐体积,实现了蜜网的快速部署。同时也设计了蜜网控制中心对蜜网中各物理节点分发命令和传输文件。提出了一种新的物联网家族谱系,将物联网恶意样本划分到九种不同的恶意样本家族。通过对样本进行逆向分析,获得了样本的架构、安全防护手段等信息,随后从中选取18种作为算法训练的特征并进行了离散化映射。为了对物联网恶意样本进行家族分类,本文基于前面实现的弱分类器提出一种基于置信度的集成学习算法,随后对弱分类器的性能进行了调优。实验结果表明,集成学习算法将多家族分类精确率从89%提升到了92%,且对任意家族均有较好的性能表现。相比国内外物联网领域相关研究,本文提出的算法有较好的性能。通过对蜜网收集的威胁情报进行汇总和分析,从时间、空间、攻击手段等角度描绘了物联网安全的当前态势。提出了一种基于安全策略来对恶意行为进行威胁评级的方法,从四个不同视角给出了物联网当前威胁指数,方便安全人员进行问题的定位。设计实现了数据可视化系统,将原始数据和分析结果直观形象地显示在前端页面。系统包括主机状态监控、实时日志显示、样本分类展示、恶意请求走势、威胁情报汇总、地理溯源展示、威胁态势评分等功能。本文将上述模块通过后台脚本和数据库联系在一起,构成了一个完整的从数据获取到前端展示的物联网安全解决方案。通过该系统,安全人员可以实时掌握物联网安全状态,并对各种威胁情报进行分析,及时采取安全措施。

密码应用安全态势感知平台研究与开发

这是一篇关于密码应用安全,国密规范,流量识别,态势感知,深度包检测技术的论文, 主要内容为随着网络信息化的高度发展,万物互联成为趋势,信息孤岛逐渐消弭,网络空间安全的重要性日益凸显,而保证网络空间安全的基础与关键技术就是密码技术。使用合规的密码、安全的密码,既是对公民个人合法权益的有力保障,也是对国家安全的有力保障。但从我国密码的应用情况来看,普遍存在使用密码的自觉性不够,密码应用不广泛、不规范及不正确等问题。因此,开展网络与信息系统中密码应用安全性评估工作具有十分重要的意义。针对以上问题,本文以《信息系统密码应用基本要求》为指导,设计并实现了集采集、分析、传输、存储与可视化为一体的密码应用安全态势感知平台。本平台通过对网络流量进行分析,判断网络中传输的数据是否被加密,使用的加密协议是否符合国家标准,协议中的密码参数是否合规,从而实现对网络与通信安全层面的密码应用的有效性、正确性与合规性的全面分析与评估。本平台由采集端和存储展示端两部分组成。采集端基于校园网完成网络流量数据的采集,通过数据包首部分析和分流处理,完成网络流量从数据包级别到数据流级别的转换。针对加密流量的识别,本文选择信息熵和蒙特卡洛π值作为衡量数据包负载随机性的标准,选用C4.5决策树算法构建分类模型。针对加密协议的识别,本文首先采用基于端口号的方法进行加密协议的快速识别,其次通过对SSL协议和IPSec协议的国际和国密标准进行深入分析和研究,采用基于DPI的方法对各加密协议的特征字进行提取和匹配,并从建立安全连接的过程中提取密码参数。本平台通过Apache Nifi完成采集端和存储展示端的数据流对接。平台存储展示端使用Logstash收集流量分析的结果,使用Elastic Search实现结果的存储与索引,并基于Vue、Echarts等技术结合ES实现交互式可视化展示。平台根据特定应用场景,通过设置密码参数字段值,定义检测策略,生成ES查询表达式对ES中存储的结果数据进行匹配,并给出检测结果,实现对网络中密码应用的合规性检测。最后,本文基于校园网络搭建了平台的测试环境,对平台进行功能测试与展示。测试结果表明,平台能够成功识别出加密流量及其使用的加密协议,在识别过程中能够提取所使用的密码参数以验证合规性,实现了预期的功能。

网络安全态势感知可视化平台的设计与实现

这是一篇关于网络安全,态势感知,数据可视化,企业网络的论文, 主要内容为传统的网络安全解决方案往往通过设立防火墙、入侵检测系统、入侵防御系统、过滤系统、脆弱性检测系统等网络监控设备来进行防控,然而这些设备在网络中一般独立作战,信息不共享,使得在面对突发网络攻击事件时,不能够准确地提供威胁告警信息。网络安全态势感知技术是一种将网络监控设备生成的数据进行整合,利用统计分析、数据挖掘等相关技术进行分析,并提供网络安全状况评估和风险预测的技术。然而,传统的安全态势感知系统存在“重感知,轻呈现”的问题,安全数据经过分析后,没有优秀的可视化解决方案用以信息表达,从而极大影响了态势感知系统的应用效果。本文以上述问题为出发点,首先分析了我国网络安全情况和网络安全态势的发展概况,阐述了网络安全态势感知的关键技术和典型架构。紧接着重点对数据可视化技术作了详细地研究和分析,并分析了可视化技术应用于安全态势感知的可行性和必要性,同时也对WEB技术框架和WEB安全进行了探讨。接下来对安全态势感知可视化平台进行了需求分析、概要设计和详细设计,定义了可视化平台的五大功能模块及各个模块间的交互方式等,然后使用SSH框架等常用的WEB开发技术,结合ECharts、Twaver等可视化组件,最终实现出一个视觉效果良好的安全态势感知可视化平台。经过系统的试运行,证明了所述可视化平台具有良好地呈现和交互效果,并且对于企业安全态势感知具有较好的辅助作用。

面向态势感知的意图研究与推荐系统设计

这是一篇关于态势感知,信息过载,意图识别,推荐系统,知识图谱,图神经网络的论文, 主要内容为随着计算机技术的飞速发展,复杂信息系统人机交互界面的设计受到各方的高度关注,界面设计的优劣直接关系到操作人员的决策效能。态势感知环境中,人机交互界面中往往包含多维度信息。然而,当前复杂信息系统在设计时往往未能充分结合人因学理论,操作人员极易发生漏情、错情、信息过载等情况。同时,当前态势感知环境中信息的获取能力与共享速度得到了极大提升,短时间内界面中呈现的过量态势信息会严重干扰用户对关键信息的检索和有效利用,加大了用户出现认知过载情况的风险。本研究以战场态势环境为例,针对用户与系统交互时存在的认知过载问题,设计出了具备高准确性、多样性与完备性的态势推荐模型,并总结出了相应的设计策略,使用户在面对海量的态势数据时,能够聚焦于高价值态势信息,缩短认知和决策时间,降低认知负荷。同时,研究中设计的态势智能推荐系统能够根据用户历史交互记录以及态势信息之间的内在关联,从而能够得到传统方法难以获取的用户“隐性意图”,并能够通过智能推送的方式提升人机交互过程中的自然性。论文主要研究内容与创新点如下:1.针对“意图识别”问题,进行了态势感知需求研究,将战场态势感知环境中的指挥员意图定义为显性意图与隐性意图。通过设计了一套基于态势知识图谱的推荐系统,实现了对指挥员上述两种意图的识别与挖掘;2.以战场态势推荐为例,确定了504个战场态势要素与要素间实体关系,并以此设计出战场指挥员历史交互数据与态势知识图谱,完成了对指挥员的意图识别与态势推荐任务。同时,根据推荐系统常用评估算法与实际态势推荐环境,确定了态势相关性、态势完备性与态势多样性作为模型的评价指标从而对模型的优劣进行评估并以此展开对模型的优化实验。3.利用图神经网络善于捕获图结构数据中节点关系的优势,更好的完成态势推荐任务。研究中分别基于Pin Sage、GCMC、NGCF三种经典的图神经网络推荐模型完成了推荐系统设计,同时使用了两种不同的知识图谱增强推荐方法,使得系统具备更强的推荐多样性、准确性与可解释性。4.通过实验对图神经网络推荐模型的结构进行实验研究,针对实验中遇到的过平滑问题、小样本问题进行了优化,据此提出了包含模型设计与推荐流程设计的态势推荐设计策略。

基于微服务架构的能源互联网综合能量管理系统研究

这是一篇关于微服务架构,综合能量管理系统,数据-机理驱动,态势感知,原型系统的论文, 主要内容为能源系统和互联网技术相结合催生出了能源互联网这一概念,为多能互补运行与协调优化提供了可能性。综合能量管理系统主要利用不同能源之间的相互转换实现综合能源系统的协调优化,目前面临着诸多问题与挑战,例如综合能量管理系统的功能需求尚不明确;存在重复开发问题,需要高兼容性平台整合现有功能,打破数据信息壁垒。为解决上述问题,本文研究了基于微服务架构的能源互联网综合能量管理系统,利用微服务架构所具备的服务松耦合的特点,形成具备高拓展性、高可用性的综合能源调控平台。论文的主要内容包括:首先,研究基于微服务的能量管理系统架构,充分利用能源互联网物理机理认知和海量运行数据,设计数据-机理驱动的能量管理功能逻辑。可基于数据-机理驱动两种计算模式实现态势感知及能流优化两层能量管理系统核心功能,形成交叉验证。基于微服务架构按照耦合关系对能量管理系统功能进行拆分,使系统具备松耦合,高兼容性、高灵活性等特点,支持能量管理系统功能的灵活接入,满足能源形式多样化的发展需求。然后,对态势感知及能流优化两层中的综合能源状态估计、预测以及能流优化等微服务展开具体研究。考虑不同能源系统在响应速度上的差异,建立天然气系统动态模型描述其较长的动态变化过程,实现了多时间断面综合能源系统状态估计,实时感知综合能源系统运行状态;实现了基于长短期记忆神经网络的综合能源负荷预测方法,提取历史数据中存在的时间相关性信息以及不同能量需求历史数据中存在的深层次耦合关系,给出预测结果,预判系统未来变化趋势,为系统的优化运行提供决策支撑;实现了基于深度强化学习的综合能源系统优化调度,利用人工智能技术拟合复杂非线性系统,降低计算求解时间,利用多能灵活转化关系降低系统总能耗成本。最后,基于上述工作应用Spring Cloud平台开发了原型系统。设计系统内部微服务间基于消息的并行通信模式,搭建了基于KafKa的微服务数据总线;根据不同微服务所需计算数据设计并实现了各微服务下的数据库;基于上述理论研究实现了综合能源状态估计、预测以及能流优化等微服务,整合至微服务架构下并开发原型系统,该原型系统可根据参数输入调用所需微服务进行特定功能的计算求解,并给出计算结果。

基于微服务架构的能源互联网综合能量管理系统研究

这是一篇关于微服务架构,综合能量管理系统,数据-机理驱动,态势感知,原型系统的论文, 主要内容为能源系统和互联网技术相结合催生出了能源互联网这一概念,为多能互补运行与协调优化提供了可能性。综合能量管理系统主要利用不同能源之间的相互转换实现综合能源系统的协调优化,目前面临着诸多问题与挑战,例如综合能量管理系统的功能需求尚不明确;存在重复开发问题,需要高兼容性平台整合现有功能,打破数据信息壁垒。为解决上述问题,本文研究了基于微服务架构的能源互联网综合能量管理系统,利用微服务架构所具备的服务松耦合的特点,形成具备高拓展性、高可用性的综合能源调控平台。论文的主要内容包括:首先,研究基于微服务的能量管理系统架构,充分利用能源互联网物理机理认知和海量运行数据,设计数据-机理驱动的能量管理功能逻辑。可基于数据-机理驱动两种计算模式实现态势感知及能流优化两层能量管理系统核心功能,形成交叉验证。基于微服务架构按照耦合关系对能量管理系统功能进行拆分,使系统具备松耦合,高兼容性、高灵活性等特点,支持能量管理系统功能的灵活接入,满足能源形式多样化的发展需求。然后,对态势感知及能流优化两层中的综合能源状态估计、预测以及能流优化等微服务展开具体研究。考虑不同能源系统在响应速度上的差异,建立天然气系统动态模型描述其较长的动态变化过程,实现了多时间断面综合能源系统状态估计,实时感知综合能源系统运行状态;实现了基于长短期记忆神经网络的综合能源负荷预测方法,提取历史数据中存在的时间相关性信息以及不同能量需求历史数据中存在的深层次耦合关系,给出预测结果,预判系统未来变化趋势,为系统的优化运行提供决策支撑;实现了基于深度强化学习的综合能源系统优化调度,利用人工智能技术拟合复杂非线性系统,降低计算求解时间,利用多能灵活转化关系降低系统总能耗成本。最后,基于上述工作应用Spring Cloud平台开发了原型系统。设计系统内部微服务间基于消息的并行通信模式,搭建了基于KafKa的微服务数据总线;根据不同微服务所需计算数据设计并实现了各微服务下的数据库;基于上述理论研究实现了综合能源状态估计、预测以及能流优化等微服务,整合至微服务架构下并开发原型系统,该原型系统可根据参数输入调用所需微服务进行特定功能的计算求解,并给出计算结果。

具有安全检查和态势感知能力的网络安全管理平台的分析与设计

这是一篇关于网络安全,安全管理,态势感知,安全检查,数据模型的论文, 主要内容为随着网络的迅猛发展,云计算、3G、IT技术、物联网等新兴科技在推动技术发展和创新的同时也带来了各种安全问题。为了应对不断变化的安全挑战,通过部署防火墙、防病毒设备、IDS、一体化设备等安全基础设施,构起一道“安全防线”。然而由于不同厂商都有自己的一套规则,所针对的安全威胁也各不相同,使得这些安全设备各自为政,形成一个个“安全防御孤岛”。同时,安全设备所产生的大量的安全事件又各自具有不同的数据格式,形成了大量的“信息孤岛”这使得网络管理员无法从海量的数据中发现真正的安全威胁。 针对上述不断凸显的需求,安全厂商都陆续推出了安全管理平台产品。但对于海量的异构信息源的安全事件的处理是安全管理平台的核心的同时也制约着其发展。传统的日志采集和数据库查询等技术已经不能够满足需要。 本文在对前人工作进行详细分析、研究的基础上设计了具有安全检查和态势感知能力的网络安全管理平台,该平台采用分布式多层架构方式,能够更好地发挥网络管理的能力。该平台具有安全检查的能力,能够从网络访问能力、网络安全隔离交换能力、网络攻击检测能力、漏洞检测能力、网络病毒防范能力、漏洞修复能力、主机安全管理能力和网络安全管理监察能力八个方面对网络的安全能力进行检查,实现从多方面、多角度对系统进行评估,真实地反映系统的安全状况,本文对安全检查的规则进行了详细论述,并给出了实现方法和运行界面。该平台还具有态势感知的能力,通过对安全事件进行优先级评定、风险评估和数据关联,得出一个风险评估值,实现对网络安全状况的态势感知。除此之外,本文还借鉴兼容性和扩展性较好的IDMEF数据模型以当前安全态势感知系统中与安全设备有关的数据类型和数据库结构为基础,设计了适用于本系统的安全事件数据模型,在描述安全事件的基础上扩展了设备管理功能,满足了实际的需求,将新的数据模型应用到程序设计上,使得程序的冗余度大大降低,提高了效率。