暗网威胁情报知识图谱构建技术研究
这是一篇关于暗网,非法市场,黑客论坛,网络威胁情报,知识图谱的论文, 主要内容为随着暗网和深网的兴起,地下市场和黑客论坛成为非法活动的温床,网络安全问题日益凸显。网络威胁情报作为关键的安全资源,分析威胁情报对预防网络安全事件以及制定有效防御策略具有重要意义。然而暗网和深网中的信息来源错综复杂,质量参差不齐,如何有效分析威胁情报成为一个亟待解决的问题;网络威胁情报中通常包含大量的实体,比如攻击方式、漏洞利用、攻击工具等,如何准确、快速地从大量威胁情报中识别这些实体,将提取的关键信息整合为易于理解的威胁情报知识图谱,是一个值得探讨的课题。针对上述问题,本研究主要围绕威胁情报分析、威胁情报实体识别以及威胁情报图谱构建进行研究,应对当前日益严峻的网络安全挑战,主要研究内容包括:(1)设计一种基于注意力机制的Bi LSTM-CNN模型,实现自动识别黑客论坛中有关威胁情报的帖子。与传统方法相比,该模型在处理长距离依赖关系和捕捉关键信息方面具有更显著的优势。通过利用注意力机制能够自动调整输入序列的动态信息权重,在关注威胁情报信息方面表现得更加有效。实验结果表明,与基于注意力机制的循环神经网络模型和基于卷积神经网络的模型相比,基于注意力机制的Bi LSTM-CNN模型在识别效果上有显著提升,有效地提高识别黑客论坛威胁情报的效率。(2)对暗网非法市场进行数据探索,利用机器学习识别出与毒品相关的商品,为后续构建交易信息知识图谱提供数据样本,对市场交易信息以卖家为核心节点构建交易图谱,记录卖家的销售记录及其相关信息,图谱的可视化有助于帮助分析交易模式监测非法交易,提供更全面和详细的数据视角得到更准确的交易信息,有利于全面了解非法市场的运作模式,揭示暗网市场的关系和交互,提高对暗网市场上非法活动监管的效果,在暗网监管方面具有实用价值。(3)设计并实现基于Transformer的双向编码器模型和双向长短期神经网络模型,对网络威胁情报中13个类别进行实体识别,实验结果表明该模型在精确率、召回率和F1值均优于基于Transformer的模型。利用识别的实体构建威胁情报知识图谱,将收集到的威胁情报进行整合和分析,更好地观察实体之间的关系,理解威胁情报的潜在关联和规律,识别网络安全威胁事件的根源和关键因素。
面向网络威胁情报的知识图谱构建研究
这是一篇关于网络威胁情报,知识图谱,数据增强,实体抽取,关系分类的论文, 主要内容为随着互联网的快速发展,各种不同的网络攻击形式也层出不穷。为了保障网络空间安全,利用防火墙、入侵检测系统等防护平台是当前常用的防御手段。但这些传统的防御手段无法应对高级可持续威胁攻击和零日攻击,这些创造性的网络攻击形式在危害程度上比普通的网络攻击更高,同时也更为隐蔽和持续。网络威胁情报是网络攻击行为的宝贵信息来源,蕴含了网络威胁指标、攻击策略、攻击技术和行为模式。充分利用网络威胁情报,挖掘更高层次的信息对于网络安全防御,以及构建网络安全主动防御体系具有重要意义。为了从非结构化网络威胁情报中抽取情报信息,现有研究通过正则表达匹配和构建词库的方式,抽取网络威胁指标,但这种方法能够抽取到的实体类型极为有限;还有一些研究利用自然语言处理方法进行实体抽取,但缺少系统性的研究,没有通过关系整合实体间关系,不能挖掘出更高层次的网络威胁情报信息。知识图谱是大数据背景下,利用图结构对客观世界建模的技术,能够有效描述实体、实体间关系和属性。利用知识图谱构建相关技术,能够有效挖掘网络威胁情报中的高层次情报信息,这正契合了网络威胁情报信息抽取的需要。因此本文主要研究面向网络威胁情报的知识图谱构建,利用知识图谱构建技术抽取网络威胁情报中蕴含的高级情报信息。本文研究聚焦于网络威胁情报领域图谱构建的关键技术,重点对图谱构建的实体抽取技术和关系分类技术进行研究,本文具体内容如下:1.针对网络威胁情报实体抽取,提出了基于数据增强的实体抽取方法。将实体抽取建模为命名实体识别任务,构建了网络威胁情报领域的实体抽取数据集,对比了不同命名实体识别模型在领域数据集上的效果,将BERT-Bi LSTMATTN-CRF模型应用于网络威胁情报领域的实体抽取。针对深度学习模型对大量训练集样本的需要,本文提出了一种适用于网络威胁情报领域的数据增强方法,使用了数据增强方法的实体抽取模型F1值最高为91.86%,相比于没有数据增强F1值提高了1.09%。2.针对网络威胁情报关系分类,提出了网络威胁情报的实体关系分类方法。构建了网络威胁情报领域的关系分类数据集,系统性探讨了不同关系分类模型在领域数据集上的关系分类能力,将RIFRE模型应用于网络威胁情报领域的关系分类,并利用所提出的数据增强方法进行模型优化,本文实体关系分类模型F1值最高为86.93%,相比于没有数据增强F1值提高了0.91%。3.本文设计并实现了网络威胁情报的知识图谱构建与动态攻击组织画像系统。利用所提出的实体抽取方法、实体关系分类方法,抽取关系三元组。设计并实现了数据采集与处理模块、知识图谱构建模块以及动态攻击组织画像模块,尝试性的将网络威胁情报知识图谱应用于攻击组织的分析。
面向网络威胁情报的知识图谱构建研究
这是一篇关于网络威胁情报,知识图谱,数据增强,实体抽取,关系分类的论文, 主要内容为随着互联网的快速发展,各种不同的网络攻击形式也层出不穷。为了保障网络空间安全,利用防火墙、入侵检测系统等防护平台是当前常用的防御手段。但这些传统的防御手段无法应对高级可持续威胁攻击和零日攻击,这些创造性的网络攻击形式在危害程度上比普通的网络攻击更高,同时也更为隐蔽和持续。网络威胁情报是网络攻击行为的宝贵信息来源,蕴含了网络威胁指标、攻击策略、攻击技术和行为模式。充分利用网络威胁情报,挖掘更高层次的信息对于网络安全防御,以及构建网络安全主动防御体系具有重要意义。为了从非结构化网络威胁情报中抽取情报信息,现有研究通过正则表达匹配和构建词库的方式,抽取网络威胁指标,但这种方法能够抽取到的实体类型极为有限;还有一些研究利用自然语言处理方法进行实体抽取,但缺少系统性的研究,没有通过关系整合实体间关系,不能挖掘出更高层次的网络威胁情报信息。知识图谱是大数据背景下,利用图结构对客观世界建模的技术,能够有效描述实体、实体间关系和属性。利用知识图谱构建相关技术,能够有效挖掘网络威胁情报中的高层次情报信息,这正契合了网络威胁情报信息抽取的需要。因此本文主要研究面向网络威胁情报的知识图谱构建,利用知识图谱构建技术抽取网络威胁情报中蕴含的高级情报信息。本文研究聚焦于网络威胁情报领域图谱构建的关键技术,重点对图谱构建的实体抽取技术和关系分类技术进行研究,本文具体内容如下:1.针对网络威胁情报实体抽取,提出了基于数据增强的实体抽取方法。将实体抽取建模为命名实体识别任务,构建了网络威胁情报领域的实体抽取数据集,对比了不同命名实体识别模型在领域数据集上的效果,将BERT-Bi LSTMATTN-CRF模型应用于网络威胁情报领域的实体抽取。针对深度学习模型对大量训练集样本的需要,本文提出了一种适用于网络威胁情报领域的数据增强方法,使用了数据增强方法的实体抽取模型F1值最高为91.86%,相比于没有数据增强F1值提高了1.09%。2.针对网络威胁情报关系分类,提出了网络威胁情报的实体关系分类方法。构建了网络威胁情报领域的关系分类数据集,系统性探讨了不同关系分类模型在领域数据集上的关系分类能力,将RIFRE模型应用于网络威胁情报领域的关系分类,并利用所提出的数据增强方法进行模型优化,本文实体关系分类模型F1值最高为86.93%,相比于没有数据增强F1值提高了0.91%。3.本文设计并实现了网络威胁情报的知识图谱构建与动态攻击组织画像系统。利用所提出的实体抽取方法、实体关系分类方法,抽取关系三元组。设计并实现了数据采集与处理模块、知识图谱构建模块以及动态攻击组织画像模块,尝试性的将网络威胁情报知识图谱应用于攻击组织的分析。
网络威胁情报知识图谱构建与应用关键技术研究
这是一篇关于网络威胁情报,知识图谱,实体抽取,关系抽取,知识检索的论文, 主要内容为网络威胁情报在抵御网络威胁方面的价值日益凸显,运用威胁情报驱动网络安全防御已成为企业和组织的广泛共识。实际上,收集威胁情报并加以分析和共享是一种空间换取时间的有效网络安全防御措施。通过主动探测现有或潜在的网络威胁,提高面临威胁时的响应速度,可在一定程度上改变网络攻防不对称的局面,实现网络态势感知。然而,威胁情报类型复杂,应用场景多变。随着信息快速生成,威胁情报更新迅速,给安全人员实时分析利用威胁情报带来了挑战。各安全厂商发布的威胁情报通常为文本形式,包含大量的非结构化数据。同时,冗余信息和专业领域词汇的存在一定程度上降低了威胁情报的可用性。知识图谱在各领域的广泛应用为网络智能防御提供了新的思路:作为最有效的知识集成方法之一,知识图谱能够通过高效可视化安全知识,关联融合多源异构数据,对攻击进行追踪溯源,实现威胁感知,检测新型网络威胁。本文将知识图谱推广至网络安全领域,面向网络威胁情报知识图谱构建与应用过程中所涉及到的关键技术展开重点研究。针对现有威胁情报通常为来源广泛的非结构化数据的问题,设计实体抽取和关系抽取模型,改进损失函数,融入多种特征,建立知识图谱,开发基于Neo4j图数据库的知识查询系统。本文主要工作如下:1.提出融合Focal Loss的网络威胁情报实体抽取方法。网络威胁情报中蕴含丰富的威胁情报知识,多以自然语言文本的形式存在,抽取其中关键要素是构建知识图谱的重要基础。然而,威胁情报文本通常囊括了网络攻击类型、攻击实施手段、网络犯罪组织等具有高度领域特征的词汇,且样本标签数量参差不齐,导致现有实体抽取方法无法取得令人满意的效果。为此,针对威胁情报的专业词汇问题,在模型中增加单词和字符特征。同时,为缓解少数类样本性能受限的问题,提出一种融合Focal Loss的实体抽取模型,引入平衡因子和调制系数,平衡正负样本比例,提高困难样本损失权重,提升威胁情报实体抽取的性能。2.提出特征增强的文档级网络威胁情报关系抽取方法。关系抽取在挖掘威胁情报文本关键威胁要素之间关系及构建威胁情报知识图谱中发挥着重要作用。然而,现有关系抽取模型在威胁情报领域面临诸多挑战。为解决威胁情报开源数据集缺乏的问题,从博客、论坛等网站收集威胁情报并进行人工标注,构建威胁情报本体,规范威胁情报知识图谱中的实体和关系。针对威胁情报文档结构复杂的问题,设计一种特征增强的文档级关系抽取模型,充分利用文档中的信息。同时,引入教师-学生模型,实现知识蒸馏。利用过采样方法缓解威胁情报样本不平衡问题,与主流模型相比大幅提升模型性能。3.提出融合多模型的网络威胁情报信息抽取方法。威胁情报中相关实体分散在整篇文章中,彼此间关系错综复杂,人工分析耗时耗力,难以实时跟进更新。为此,提出融合多模型的网络威胁情报信息抽取方法,将零散分布、多源异构的安全数据组织起来,主要包含实体抽取、共指消解、关系抽取和知识图谱构建四个关键步骤。在实体抽取任务中,不同单词对实体的判别有不同程度的贡献,引入自注意力机制,获得对实体重要的向量表示。在共指消解任务中,结合上下文信息与提及嵌入,引入卷积神经网络,提取提及表示局部特征,与全局特征融合,增强表示能力。在关系抽取任务中,融入词性、宽度等多种特征,增强嵌入表示。抽取出结构化的三元组数据,填充入知识图谱中,展示实体及其之间的关联关系。4.开发基于网络威胁情报知识图谱的知识检索系统。威胁情报包含丰富的知识,分散在文本的各个位置,给信息检索带来了挑战。为高效获取其中知识,开发一个基于网络威胁情报知识图谱的知识检索系统,该系统能够分析处理的自然语言提问包括属性查询类、节点查询类、反向查询类、属性比较类四种类型,针对不同意图设计相应模板,接受用户的自然语言提问。将问句转换为Cypher查询语句,输入Neo4j图数据库中检索结果,生成人类可读的自然语言答案,大大简化搜索流程,降低了获取碎片化威胁情报知识的难度。
基于深度学习的网络威胁情报信息抽取研究
这是一篇关于网络威胁情报,信息抽取,威胁情报实体识别,威胁情报关系抽取,深度学习的论文, 主要内容为随着网络攻击技术的不断升级,网络攻击呈现出复杂化和高级化的趋势。传统的防御体系缺乏对这些新型网络攻击手段的了解,导致防御效果不佳。若能获取这类新型网络攻击的详细信息,发现其共性特征,则能为防御决策提供关键性的数据支持。威胁情报能够从方法、技术和战术等层面对网络攻击进行多方面的分析,对有效防御新型攻击起到了重要作用。如何将多源异构的威胁情报用于防御决策中,是目前面临的困难之一,而构建威胁情报的知识图谱是可能的解决方案。然而,面对大量多源异构的威胁情报数据,如何从中识别出威胁情报实体,以及如何抽取威胁情报实体之间的关系,是威胁情报知识图谱构建面临的挑战之一。本文利用深度学习的相关方法对威胁情报的信息抽取进行了研究,主要关注威胁情报的实体识别和关系抽取问题。本文的主要内容及创新点如下:(1)针对网络威胁情报中实体类别分布不均匀、存在嵌套实体等问题,提出一种基于词对关系分类的威胁情报实体识别方法。该方法使用预训练模型BERT和双向长短期记忆网络获取句子的词向量,并构建词对的二维网格。接着提出了多粒度膨胀卷积来细化词对表示,有效捕获近距离和远距离词对之间的交互关系。最后使用双仿射分类器和多层感知机联合预测词对关系并解码生成候选实体,实验结果验证了模型的有效性。(2)针对网络威胁情报中有关联的实体之间距离较远、流水线式关系抽取存在误差传播和交互缺失等问题,提出一种基于跨度的威胁情报实体关系联合抽取方法。该方法使用预训练模型BERT和双向长短期记忆网络来进行词向量化,再检测句子中的所有标记跨度并对每个跨度分类,最后通过两两配对候选实体进行关系分类。同时,该模型通过加入上下文特征和负采样,充分挖掘威胁情报实体和关系间的依赖关系,从而更好地识别威胁情报实体以及对实体间的关系进行分类,实验结果验证了模型的有效性。
暗网威胁情报知识图谱构建技术研究
这是一篇关于暗网,非法市场,黑客论坛,网络威胁情报,知识图谱的论文, 主要内容为随着暗网和深网的兴起,地下市场和黑客论坛成为非法活动的温床,网络安全问题日益凸显。网络威胁情报作为关键的安全资源,分析威胁情报对预防网络安全事件以及制定有效防御策略具有重要意义。然而暗网和深网中的信息来源错综复杂,质量参差不齐,如何有效分析威胁情报成为一个亟待解决的问题;网络威胁情报中通常包含大量的实体,比如攻击方式、漏洞利用、攻击工具等,如何准确、快速地从大量威胁情报中识别这些实体,将提取的关键信息整合为易于理解的威胁情报知识图谱,是一个值得探讨的课题。针对上述问题,本研究主要围绕威胁情报分析、威胁情报实体识别以及威胁情报图谱构建进行研究,应对当前日益严峻的网络安全挑战,主要研究内容包括:(1)设计一种基于注意力机制的Bi LSTM-CNN模型,实现自动识别黑客论坛中有关威胁情报的帖子。与传统方法相比,该模型在处理长距离依赖关系和捕捉关键信息方面具有更显著的优势。通过利用注意力机制能够自动调整输入序列的动态信息权重,在关注威胁情报信息方面表现得更加有效。实验结果表明,与基于注意力机制的循环神经网络模型和基于卷积神经网络的模型相比,基于注意力机制的Bi LSTM-CNN模型在识别效果上有显著提升,有效地提高识别黑客论坛威胁情报的效率。(2)对暗网非法市场进行数据探索,利用机器学习识别出与毒品相关的商品,为后续构建交易信息知识图谱提供数据样本,对市场交易信息以卖家为核心节点构建交易图谱,记录卖家的销售记录及其相关信息,图谱的可视化有助于帮助分析交易模式监测非法交易,提供更全面和详细的数据视角得到更准确的交易信息,有利于全面了解非法市场的运作模式,揭示暗网市场的关系和交互,提高对暗网市场上非法活动监管的效果,在暗网监管方面具有实用价值。(3)设计并实现基于Transformer的双向编码器模型和双向长短期神经网络模型,对网络威胁情报中13个类别进行实体识别,实验结果表明该模型在精确率、召回率和F1值均优于基于Transformer的模型。利用识别的实体构建威胁情报知识图谱,将收集到的威胁情报进行整合和分析,更好地观察实体之间的关系,理解威胁情报的潜在关联和规律,识别网络安全威胁事件的根源和关键因素。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码工厂 ,原文地址:https://bishedaima.com/lunwen/56273.html