基于深度学习的网络流量中漏洞利用攻击分类方法研究
这是一篇关于漏洞利用攻击,时间卷积网络,流量分类,自注意力,网络安全的论文, 主要内容为随着互联网的高速发展,网络流量的规模和复杂度都在快速上升,网络恶意攻击的数量也伴随着网络快速发展而呈现急速上升的趋势。恶意攻击者会利用网络中存在的安全漏洞发起攻击,因此研究如何在网络流量中高效检测漏洞利用攻击行为成为了迫在眉睫的问题。此外,随着用户对于自身隐私的逐渐重视,数据传输加密技术被广泛应用于各种应用,各类漏洞利用程序也纷纷采用TLS(Transport Layer Security)等技术对其流量传输进行加密,进而逃避常规恶意攻击流量检测,这给传统流量分类技术带来了严峻挑战。因此,本研究以高效分类常规和加密网络流量中的恶意漏洞利用攻击为目标,展开了一系列研究。传统的网络流量分类方法极度依赖手工特征设计,无法适应如今复杂且庞大的网络环境。近年来深度学习以其无需手动设计特征、能够大规模处理流量数据等优点,成为了流量分类领域研究的热门方法。现有的常规分类模型未能有效利用流量数据的结构特征,忽视了流量数据特征之间的相关性,这会对模型的分类性能产生一定程度的影响。基于此,本研究通过对网络流量结构和TLS协议加密流量信息的深入分析和研究,提出了多种基于深度学习的网络流量中漏洞利用攻击分类方法。本文的主要研究内容和贡献如下:1.现有主流恶意攻击网络流量分类方法通常基于卷积神经网络(Convolutional Neural Networks,CNN)等深度学习模型,这些模型无需手动设计流量特征,但并没有充分利用网络流量的结构信息。在本文中,提出一种基于时序卷积网络(Temporal Convolutional Network,TCN)的漏洞利用攻击流量分类方法。该模型利用网络流量数据包的字节序列特性提取数据集中的关键特征,相比于传统用于建模的递归神经网络(Recursive Neural Network,RNN),TCN在序列建模任务中表现出了更好的性能,可并行处理序列且训练速度更快。为了解决在训练过程中,Re LU(Rectified Linear Units)使部分神经元坏死导致的检测精确率不高的问题,本研究提出使用ELU(Exponential Linear Unit)激活函数解决这个问题。为了验证模型的有效性,文本使用CTU公共数据集将所提模型与先进的方法进行了比较。实验结果表明,TCN可以在较短的训练时间内获得较高的性能,具有更高的平均精确率和平均召回率。2.针对现有加密流量在未解密的情况下对恶意攻击流量分类效果较差的问题,本研究提出了基于多头自注意力机制的漏洞利用攻击加密流量分类方法。研究首先统计和分析了恶意攻击加密流量数据包中安全传输层(Transport Layer Security,TLS)协议携带的数据信息,探讨了良性与恶意加密流量在使用TLS协议加密通信数据时行为特征的区别,并将TLS协议与传统流量信息相结合进行特征提取。然后设计了恶意攻击加密流量分类模型TLS-MHSA(Transport Layer Security-Multi Headed Self Attention),该模型利用多头自注意力机制捕捉加密流量中的关键特征并学习多个特征之间的相关性,通过学习到更关键的高阶组合特征,获得更高的精确率。最后,在公开数据集上将本文所提模型与现有模型进行对比实验,结果表明基于多头自注意力机制的恶意攻击加密流量分类模型有更高的精确率和召回率,论证了所提方法的可行性和有效性。3.设计并实现了基于深度学习的漏洞利用攻击流量分类原型系统DLEATCS(Deep Learning based Exploits Attack Traffic Classification System)。系统采用了B/S架构便于在线进行流量检测,主要包括流量数据管理、流量预处理和流量分类等模块,具有流量数据上传、流量分析、流量预处理和恶意攻击分类识别等功能。本系统具备易操作、高度自动化和易拓展等特点,经过实验证明,本研究原型系统可以对网络流量中的漏洞利用攻击准确分类。
基于Swin Transformer的深度伪造检测技术研究与实现
这是一篇关于深度伪造检测,多通道,二维卷积,通道注意力,自注意力的论文, 主要内容为深度伪造(Deepfake)是深度学习(Deep Learning)和伪造(Fake)的混成词。此技术可将已有的图像或视频叠加至目标图像或视频上。该技术的滥用使得网络上信息传播的复杂程度日益加剧,不法分子利用这些技术进行诽谤、欺诈、勒索,危害国家安全,损害个人和社会公共利益。因此,如何针对这些伪造内容进行高效检测已经成为亟待解决的问题。本文基于多通道信息提取方法、混合缩放方法和双流注意力方法,提出了两种深度伪造检测方法,并进一步实现了便捷高效的深度伪造检测系统。本文主要研究内容如下:(1)本文提出一种基于多通道Swin Transformer的深度伪造检测方法。通过提取图像的色彩空间、人脸特征空间和频域空间中的通道信息并将其堆叠为多通道信息,实现了数据的多通道信息提取。将这些多通道信息输入到Swin Transformer特征提取器进行检测,并通过交叉熵损失函数和Adam W优化器执行模型的反向传播过程,最终得到检测模型。在公开数据集Face Forensics++(FF++)上进行测试后,实验结果显示该方法的深度伪造检测准确率达到了94.71%,优于其他检测方法。(2)本文提出一种基于混合缩放双流注意力网络的深度伪造检测方法。该方法通过将混合缩放模块和基于Swin Transformer的双流注意力模块结合以检测深度伪造视频。混合缩放模块由残差下采样、融合卷积和压缩卷积组成,实现了更高效的局部特征提取。双流注意力模块则通过结合自注意力机制和通道注意力机制,实现了全局维度与通道维度的特征提取。在整体架构设计中,混合缩放模块负责提取数据的浅层局部特征,而双流注意力模块负责提取数据的深层全局特征。通过在FF++数据集上进行实验,结果显示该方法的深度伪造检测准确率达到了95.62%,证实了其优越性。(3)本文设计并实现了一种深度伪造检测系统。该系统采用标准的浏览器/服务器架构,前端基于Vue框架构建,后端使用Flask框架进行开发。对于异步任务,系统采用Redis作为消息队列,由Celery负责处理队列中的异步任务。在提供用户权限和记录管理等基础功能服务的基础上,通过将前述深度伪造检测方法作为模块单独嵌入到系统中,为用户提供便捷的深度伪造检测服务。
代码检索技术及其在线上教学系统的应用
这是一篇关于线上教学,代码检索,深度学习,自注意力,搜索引擎的论文, 主要内容为在线教育在近几年内得到迅猛发展。目前,我国高校留学生规模日益增大,所以面向留学生开设课程的需求巨大,同时,疫情导致很大一部分学生无法入境,只能通过在线学习平台开展线上教学活动。尽管目前以超星、智慧树为代表类似的线上教学平台数量众多、功能完备,但面向留学生使用习惯和语言的平台较少。信息工程类专业的学生在学习计算机编程技术时,学习他人优秀代码片段是一条提升学习能力的有效途径。学生对编程开发类的课程学习通常处于入门状态,对于与之相关的知识以及进阶知识是不了解的,所以学生往往对于自己的编程问题一知半解,表达不完整,使用传统的搜索引擎很难得到想要的结果。因此,垂直领域代码检索领域是专门针对代码进行检索的搜索引擎,使用该技术的学生可以通过输入自然语言表述,后台算法通过对用户查询语句的处理,给出与之相关的代码方法片段。基于上述研究背景,本文旨在研究如何设计并实现一个基于微服务架构的线上教学系统,同时将代码检索技术应用到线上教学系统中,本文主要工作包括:(1)提出了一种基于代码多特征建模的代码检索模型(本文简称:MFCRM),通过对代码片段与自然语言语句进行不同的处理与语义增强,结合深度学习网络模型Trasnsformer和自注意力机制,将代码片段和查询语句的深层次语义特征利用起来,将其转化到一个统一向量空间中的向量,通过计算相似度来衡量它们之间的相似程度,实现了代码和自然语言查询在语义上的关联。(2)分析面向留学生的线上教学系统的业务流程,据此展开需求分析,采用微服务的系统架构,将线上教学系统不同的服务拆分成多个小型服务,每个服务都可以独立部署、扩展和维护,并进行系统的总体设计和系统基本功能模块的详细设计,以及应用模块代码检索子模块的设计。(3)采用Spring Cloud、Vue等技术,实现线上教学系统中基本功能模块,如用户管理子模块、课程管理子模块、考试管理子模块等模块的开发,并将代码检索技术应用于线上教学系统中。此外,为整个系统设计了合理的测试方案,来验证线上教学系统在各个方面是否符合设计要求。
代码检索技术及其在线上教学系统的应用
这是一篇关于线上教学,代码检索,深度学习,自注意力,搜索引擎的论文, 主要内容为在线教育在近几年内得到迅猛发展。目前,我国高校留学生规模日益增大,所以面向留学生开设课程的需求巨大,同时,疫情导致很大一部分学生无法入境,只能通过在线学习平台开展线上教学活动。尽管目前以超星、智慧树为代表类似的线上教学平台数量众多、功能完备,但面向留学生使用习惯和语言的平台较少。信息工程类专业的学生在学习计算机编程技术时,学习他人优秀代码片段是一条提升学习能力的有效途径。学生对编程开发类的课程学习通常处于入门状态,对于与之相关的知识以及进阶知识是不了解的,所以学生往往对于自己的编程问题一知半解,表达不完整,使用传统的搜索引擎很难得到想要的结果。因此,垂直领域代码检索领域是专门针对代码进行检索的搜索引擎,使用该技术的学生可以通过输入自然语言表述,后台算法通过对用户查询语句的处理,给出与之相关的代码方法片段。基于上述研究背景,本文旨在研究如何设计并实现一个基于微服务架构的线上教学系统,同时将代码检索技术应用到线上教学系统中,本文主要工作包括:(1)提出了一种基于代码多特征建模的代码检索模型(本文简称:MFCRM),通过对代码片段与自然语言语句进行不同的处理与语义增强,结合深度学习网络模型Trasnsformer和自注意力机制,将代码片段和查询语句的深层次语义特征利用起来,将其转化到一个统一向量空间中的向量,通过计算相似度来衡量它们之间的相似程度,实现了代码和自然语言查询在语义上的关联。(2)分析面向留学生的线上教学系统的业务流程,据此展开需求分析,采用微服务的系统架构,将线上教学系统不同的服务拆分成多个小型服务,每个服务都可以独立部署、扩展和维护,并进行系统的总体设计和系统基本功能模块的详细设计,以及应用模块代码检索子模块的设计。(3)采用Spring Cloud、Vue等技术,实现线上教学系统中基本功能模块,如用户管理子模块、课程管理子模块、考试管理子模块等模块的开发,并将代码检索技术应用于线上教学系统中。此外,为整个系统设计了合理的测试方案,来验证线上教学系统在各个方面是否符合设计要求。
代码检索技术及其在线上教学系统的应用
这是一篇关于线上教学,代码检索,深度学习,自注意力,搜索引擎的论文, 主要内容为在线教育在近几年内得到迅猛发展。目前,我国高校留学生规模日益增大,所以面向留学生开设课程的需求巨大,同时,疫情导致很大一部分学生无法入境,只能通过在线学习平台开展线上教学活动。尽管目前以超星、智慧树为代表类似的线上教学平台数量众多、功能完备,但面向留学生使用习惯和语言的平台较少。信息工程类专业的学生在学习计算机编程技术时,学习他人优秀代码片段是一条提升学习能力的有效途径。学生对编程开发类的课程学习通常处于入门状态,对于与之相关的知识以及进阶知识是不了解的,所以学生往往对于自己的编程问题一知半解,表达不完整,使用传统的搜索引擎很难得到想要的结果。因此,垂直领域代码检索领域是专门针对代码进行检索的搜索引擎,使用该技术的学生可以通过输入自然语言表述,后台算法通过对用户查询语句的处理,给出与之相关的代码方法片段。基于上述研究背景,本文旨在研究如何设计并实现一个基于微服务架构的线上教学系统,同时将代码检索技术应用到线上教学系统中,本文主要工作包括:(1)提出了一种基于代码多特征建模的代码检索模型(本文简称:MFCRM),通过对代码片段与自然语言语句进行不同的处理与语义增强,结合深度学习网络模型Trasnsformer和自注意力机制,将代码片段和查询语句的深层次语义特征利用起来,将其转化到一个统一向量空间中的向量,通过计算相似度来衡量它们之间的相似程度,实现了代码和自然语言查询在语义上的关联。(2)分析面向留学生的线上教学系统的业务流程,据此展开需求分析,采用微服务的系统架构,将线上教学系统不同的服务拆分成多个小型服务,每个服务都可以独立部署、扩展和维护,并进行系统的总体设计和系统基本功能模块的详细设计,以及应用模块代码检索子模块的设计。(3)采用Spring Cloud、Vue等技术,实现线上教学系统中基本功能模块,如用户管理子模块、课程管理子模块、考试管理子模块等模块的开发,并将代码检索技术应用于线上教学系统中。此外,为整个系统设计了合理的测试方案,来验证线上教学系统在各个方面是否符合设计要求。
基于意图识别的多轮任务型问答系统的研究与实现
这是一篇关于意图识别,槽位填充,自注意力,联合学习的论文, 主要内容为随着社会各行各业数字化、智能化转型的推进,国家电网公司作为保障国民经济,提供电力服务的骨干企业积极响应。其中提高供电营业网点的自动化程度和服务水平是重中之重,关键就在于及时有效地和用户进行交流,并判断出客户的意图目的。尤其用电服务是强领域性的服务,客户的对话方式也千变万化,因此设计能够精准识别用户业务意图的模型并应用于智能化应用提升客服效率是一个极具挑战性的需求。在本文的研究过程中,首先对自然语言理解领域的现有理论与已有模型进行学习,熟悉当前研究方向的主要解决范式。对每个方法为什么提出,解决了什么问题,具有什么样的优势,存在什么样的缺陷进行归纳。随后结合实际应用场景,进行实验数据集的选择,需要了解该方向的主要标准数据集,并且根据中文场景的特点,额外选择合适的中文对话数据集进行实验。在数据集上验证模型性能后,迁移模型至电力数据集进行测试部署,并开发工程代码搭建解决方案平台。本文针对短文本交互场景下目前观察到的问题,具体提出了两个研究部分,基于改进注意力与门控解码的意图槽位隐式关系抽取模型,和基于ERNIE与图神经网络的意图槽位显式关系融合编码模型。论文的主要贡献为:一、由于存在意图槽位信息在解码阶段利用不充分,检测精度偏低的问题,提出了基于改进注意力与门控解码的意图槽位隐式关系抽取模型。分别使用两个意图注意力模块与槽位注意力模块作为骨干网络,模型使用自注意力机制并引入门单元通道进行改进。模型在ATIS和SNIPS短文本公开数据集上进行检验,结果表明我们的模型相对于目前应用Attention-Based的主流模型,准确率提升了 1.0%左右。二、在关系隐式建模的基础上,模型开创性地使用图卷积网络提出了一种融合本体知识的编码方式。同时采用了融合语义知识的编码层ERNIE作为预训练模型,将以上两部分作为关系显示建模与隐式建模模型结合,构成整体联合学习模型。在中文公开短文本数据集ECDT-NLU上进行模型效果检测,对比目前的SOTA模型,我们的模型在槽位准确率、意图准确率和联合准确率三项指标上分别取得了23%、15%、41%的提升。三、使用基于大规模三元组抽取的方法构建电网业务知识图谱,提出任务型多轮问答系统的整体架构,设计并实现了包含多轮问答、权限分配和系统监控的一站式平台解决方案,使用了 Spring Cloud、Django作为服务端框架,选择图数据库Neo4j作为知识图谱存储,模型搭建后经过测试证明系统可保证较高的可行性和稳定性。
数据高效的视觉Transformer网络优化研究
这是一篇关于小型数据集,视觉Transformer,图像分类,自注意力的论文, 主要内容为视觉Transformer是一种深度学习模型,最近在图像分类任务中取得了重大突破,并快速扩展到目标检测、语义分割、图像生成等其他计算机视觉任务。但是,视觉Transformer的性能提升需要大量训练数据的支持,这使得真实的视觉任务往往难以满足视觉Transformer对数据的需求。在部分科学、医学等领域,由于难以获得大量图像数据,这种情况尤为突出。此外,由于领域数据的内容跨度很大,已有在Image Net数据集上训练得到的预训练权重也很难迁移到这些领域。因此,研究数据高效的视觉Transformer以降低其数据需求,对于Transformer的实际应用落地具有重要意义。当前解决Transformer数据效率问题的方法一方面注重改变模型参数和训练策略,以提高模型的训练效率和泛化能力;另一方面则将卷积神经网络的优秀归纳偏置引入到Transformer中,以提高模型的学习效率。这些方法都可以在某种程度上提高视觉Transformer在小型图像数据集上的表现,但仍难以与先进的卷积神经网络方法相比。论文首次通过分析视觉Transformer自注意力头的注意距离分布,研究了它在不同规模数据集上的表现模式,并发现小型数据集训练的视觉Transformer相比于足量数据训练得到的模型缺乏局部范围注意的自注意力头。此外,与近期提出的基于局部窗口注意的视觉Transformer方法不同,原始的视觉Transformer无论在何种数据集上都具备全局范围的自注意力头。基于这两个观察,论文提出了一种适当抑制远距离注意的自注意力方法,称为多尺度焦点注意力(Multi-scale Focal Attention)方法。实验结果表明,该方法的准确率相对于基线Vi T在小型图像数据集CIFAR上提升了12%,但在中大型数据集Image Net上存在不到1%的性能损失。为了解决多尺度焦点注意力在中大型数据集上表现不佳的问题,本文在CIFAR数据集上进一步研究了注意力尺度对模型训练损失和精度的影响。实验表明短距离注意模型的精度更高,但长距离注意模型的训练损失更低。这一方面说明具有全局注意的Vi T在训练数据不足时产生了过拟合,另一方面也说明了全局注意的Vi T有更高的拟合能力。论文为此在前一工作的基础上提出了扩散焦点注意力(Swelling Focal Attention)方法。该方法在小型数据集CIFAR10和CIFAR100上分别达到最优分类准确率:98.32%和83.20%,而在中大型数据集(如Image Net)上的结果与现有Vi T性能相当。综上所述,论文从模型注意距离的角度解决了视觉Transformer数据利用效率低的问题。所提出的Swelling Focal Attention能够使视觉Transformer在任意规模的数据集上得到有效训练。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码货栈 ，原文地址：https://bishedaima.com/lunwen/47756.html
