食品安全事件智能分析方法研究与实现

这是一篇关于食品安全,图卷积神经网络,字词融合,事件抽取,事理图谱的论文, 主要内容为近年来,国家针对食品安全问题推行了一系列治理政策,食品安全形势趋于稳定。但随着大数据时代的到来,食品安全事件一经出现就会在网络上迅速传播,例如近几年发生的“三文鱼案板上发现新冠病毒”、“天津某餐饮公司配餐环境脏乱差”、“酸菜在土坑里腌制”等食品安全事件,在网络上引发了网民的激烈讨论。信息的爆炸式增长与传播使得厘清事件的来龙去脉变得越发困难,影响对食品安全事件的监管与治理。由此可见,厘清食品安全事件的发展过程,充分挖掘事件信息,对食品安全事件智能分析,在食品安全事件监管、政府决策、解决民生问题等方面具有重要的作用。事件分析早期仅从事件之间的因果、时序和事件链等角度进行,得到的事件信息并不全面。随后知识图谱的提出和应用,尤其是以事件为中心的事理图谱的出现,为事件的智能分析和事件的演化规律研究提供了支撑。但目前事理图谱仍然存在改进空间,如在进行事件抽取时,对句法结构信息的提取能力不足,在事件关系抽取的过程中存在句子层级结构信息挖掘不完全,导致构建的事理图谱不够准确。针对上述问题,本文通过融合了依赖关系重要程度的图卷积神经网络进行事件抽取,通过ON-LSTM和注意力机制的方法进行事件关系抽取,并在此基础上构建了食品安全事件事理图谱,设计并实现了一个食品安全事件分析系统。本文的主要工作和创新点如下:(1)本文收集了近年来的食品安全事件文本,并定义了一套食品安全事件文本标注规则,对收集到的食品安全事件文本进行标注,构建食品安全事件文本语料库。(2)提出了一种利用图卷积神经网络和字词融合的事件抽取方法。该方法通过融合了依赖关系的图卷积神经网络提取包含句法结构信息的词特征向量,并将该词特征向量与字特征向量融合以获取更丰富的序列表示信息。(3)采用了基于ON-LSTM和注意力机制的事件关系抽取方法。该方法使用了ON-LSTM,能够更好的捕捉句子中的结构层次信息,并且通过注意力机制进一步强化重要信息从而更好的抽取事件之间的关系。(4)将事件抽取和事件关系抽取任务得到的事件关系对存储到Neo4j图数据库中,构建出食品安全事件事理图谱。在此基础上设计实现了一个食品安全事件分析系统,具有关键字查询、信息抽取、事件热度分析和自定义图谱等功能。

面向提案的文本分类及领域知识图谱构建

这是一篇关于知识图谱,命名实体识别,文本分类,图卷积神经网络,多模型协同训练的论文, 主要内容为随着知识图谱在各个行业领域的飞速发展,领域知识图谱展现出通用图谱无法比拟的优势。然而,面向3GPP提案的通信领域知识图谱的研究还不够成熟,海量的非结构化提案中的语义信息未能被充分挖掘,为科研人员的信息抽取以及提案检索都带来极大的不便。本文面向3GPP提案进行通信领域知识图谱构建,并对领域知识图谱中的关键技术进行研究。本文的主要研究点包括领域命名实体识别、文本细粒度分类和领域知识图谱构建三个方面。首先,本文提出一种渐进式知识指导的多模型协同训练模型(Incremental Knowledge-Guided Multi-model Collaborative Training Model,IKG-MCT),在原有的协同训练过程中增加基于知识指导的未标注样本筛选模块,利用提案的领域信息设置未标注样本的优先级,实现增量式知识指导的迭代训练。本文面向提案语料构建五个COMM数据集并进行对比实验验证,IKG-MCT模型在不同标注比例的COMM数据集上均表现出更好的术语实体识别性能。尤其在COMM-10%数据集中,IKG-MCT模型在精确度、召回率和Fl值指标上较原始的Tri-training算法分别提升了 2.37%,3.58%,2.97%,证实了在标注数据比例少时IKG-MCT模型能够更好的指导未标注数据完成通信领域术语实体识别。IKG-MCT模型通过借助领域知识实现增量式的迭代训练,缓解了半监督模型中的错误传播风险,为专业领域的实体识别提供了更有效的解决方案。其次,本文提出一种用于细粒度文本分类的图卷积神经网络(Keyphrase-Enhanced Graph Convolutional Network,KPE-GCN),基于融合了单词和关键词的双层文档异构图进行图卷积,使得文档可以同时学习通用全局特征和领域特征。同时KPE-GCN模型增添了基于关键词的数据增强模块,借助关键词作为类别中心来构建衍生伪样本,有效解决数据集不平衡问题。本文面向3GPP提案构建提案数据集并进行对比实验验证,KPE-GCN模型首次将Micro-F1值和Macro-F1值进一步提升至99%以上,在提案数据集上表现出高精度的分类性能。KPE-GCN模型在通信领域的有效性和普适性也为其他专业领域的标准、提案、专利等文本分类提供了思路。最后,本文面向3GPP提案设计并构建了通信领域知识图谱,对通信领域的3GPP提案进行建模,可以实现多维数据检索、推理等功能。本文结合3GPP提案特征,对通信领域知识图谱的本体进行设计来承载通信领域信息,涵盖了提案、会议、机构、主题、领域术语等七类实体和十二种实体间的对应关系。本文在通信领域术语实体识别和主题类别分类的基础上,针对提案文档的特征,设计显式的基于模板匹配的知识抽取方式,并采用图数据库Neo4j进行图谱的知识存储和可视化展示。本文在通信领域知识图谱上展现了图谱的多维数据检索和多跳关系推理功能,为研究人员提供了更加精确的信息资源检索以及知识推理服务,更清晰直观地展现出3GPP提案的关联和关键技术的演化进程。

一种融合多种类型语法信息的属性级情感分类模型

这是一篇关于自然语言处理,属性级情感分类,图卷积神经网络,依存句法树的论文, 主要内容为随着互联网和社交网络服务的迅猛发展,每天都有大量的文本信息在各个平台发布。这些海量的文本数据刺激了企业、政府对文本分析的需求,也为机器学习的发展提供了充足的动力,促进了自然语言处理领域的蓬勃发展。情感分析是自然语言处理领域的热门研究领域,而属性级情感分析则是情感分析中非常具有挑战性的研究问题。它具有广泛应用场景,例如电商平台用属性级情感分析从产品的评论中自动抽取消费者对产品不同方面的评价;政府舆论监管部门用属性级情感分析从微博、贴吧等网络社区自动梳理出大众对社会事件的态度;金融公司通过金融社区的讨论自动提取出散户对某只股票价格未来走势的预测。属性级情感分析颇具难度,它又可分为多个子任务,其中属性级情感分类受极大关注。预训练语言模型的快速发展使得自然语言处理领域的各个方向都取得了突破性的进展,图卷积神经网络在自然语言处理领域的应用也逐渐增多。本文基于BERT语言模型和图卷积神经网络提出一种用于解决属性级情感分类的模型BERT4GCN。本文的研究工作包括:(1)本文提出一种同时利用BERT和依存句法树两种语法信息来源的模型框架BERT4GCN。模型使用BERT的中间层隐藏状态引入多种类型的语法信息,与基于依存句法树的多层GCN相结合,同时考虑了文本的序列特征和树结构的语法特征;除此之外,BERT4GCN模型根据BERT中自注意力机制的注意力权重动态调整依存句法树的边。一方面,这种动态调整使调整后的图不局限于语言学家对语法树的定义,而使其更适用于属性级情感分类任务。另一方面这种动态调整可以一定程度上修正依存句法分析器的错误;最后,本文提出一种将词与词间的相对位置信息引入到图卷积神经网络中的方法,用以解决图卷积神经网络应用于文本数据(序列数据)时忽略文本中词与词间相对位置信息的问题。属性级情感分类问题是非常具有挑战性的语义理解问题,在数据集较小、无法学习通用语法知识的情况下,外部语法知识可以很好提升模型的效果。本文提出的BERT4GCN在不使用额外数据的情况下通过同时使用基于依存句法树的图卷积神经网络和BERT引入了多种类型语法信息,帮助模型更好地理解输入文本。(2)针对本文提出的BERT4GCN模型,我们在Twitter、Sem Eval 2014 Task4 Restaurant和Laptop三个英文数据集上进行了实验,并与多个前沿的属性级情感分类模型进行比较,通过对比实验结果,验证了我们的方法的有效性和优越性。

基于注意力机制的多路径激励图卷积神经网络骨骼动作识别研究

这是一篇关于骨骼动作识别,图卷积神经网络,激励机制,Transformer的论文, 主要内容为骨骼动作识别是计算机视觉和机器学习领域的一个重要研究方向,其主要目的是通过分析人体骨骼的运动信息来识别不同的动作或行为。骨骼动作识别被广泛应用于虚拟现实、安防监控等工作。目前,骨骼动作识别的研究涵盖了多个方面。数据集的构建:骨骼动作识别的关键是收集和构建高质量的数据集。通过各种手段收集人体动作的数据,如深度相机、惯性传感器和摄像头等。同时,也有一些公开的数据集,如NTU RGB+D、NTU RGB+D 120等,供研究者们使用和比较。特征提取和表示:骨骼动作识别的特征提取和表示是关键步骤,影响算法准确率和性能。分类算法:骨骼动作识别的分类算法主要包括传统的机器学习算法和深度学习算法。然而,传统方法忽略了跨时空节点之间的相关性和动作的连续性,以及不相邻帧节点的联系性,限制了其准确率。为了提高骨骼动作识别的准确率和性能,探索如何优化模型结构和参数,本文将从以下两个方面开展研究:(1)针对传统方法忽略了跨时空节点之间的相关性和动作的连续性问题,本文构建了多路径激励图卷积神经网络(ANST-GCN),是多路径激励机制(ACTION-Net:Multipath Excitation for Action Recognition,ACTION-Net)结合时空图卷积神经网络(Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition,ST-GCN)的网络结构。其中多路径激励模块融合了时空激励(Spatio-Temporal Excitation,STE)、通道激励(Channel Excitation,CE)和运动激励(Motion Excitation,ME)。多路径激励机制可以显示建模通道之间的相互依存关系,对时空、通道和运动特征进行重新校准,以及促进时空和运动特征相互激励,使得时空流、通道流和运动流特征相互学习。并在NTURGB+D和NTURGB+D 120数据集上做了多组实验,实验结果表明,本文提出的模型在跨对象和跨视角两种标准下,将准确率提升到85.5%和91.8%。(2)针对传统方法忽略了不相邻帧节点的联系性问题,本文构建了基于注意力机制的多路径激励图卷积神经网络模型(TANST-GCN),是Transformer模型与ANSTGCN的结合。该模型利用TCN和Transformer模型相结合的方法同时提取整个模型中的局部和长程时间特征。在数据集NTU RGB+D下做了多组实验,实验结果表明,Transformer模型在骨骼动作识别上的有效性。TANST-GCN网络能够在跨对象和跨视角两种标准下,以较低运算量将准确率提升到88.1%和94.3%。综上所述,本文构建的多路径激励图卷积神经网络模型,提高了骨骼动作识别的准确率。本文构建的基于注意力机制的多路径激励图卷积神经网络模型,在运算量和资源占用方面有着明显优势,在NTU RGB+D数据集的跨对象和跨视角两种标准下,将准确率进一步提升至88.1%和94.3%,更好的平衡了精度和资源开销。

基于深度学习的个性化新闻推荐算法研究与应用

这是一篇关于神经协同过滤,注意力机制,图卷积神经网络,对比学习,推荐算法的论文, 主要内容为随着计算机技术的发展和互联网的不断普及,满足了用户在信息时代对信息的需求,但是与之而来的也有信息过载的问题,个性化推荐系统正是解决这一问题的有效方法。本文研究了基于改进NCF(Neural Collaborative Filtering)和LightGCN(Light Graph Convolution Network)的推荐算法,分别将NCF与注意力机制融合,以及将LightGCN与对比学习技术相融合;这样可以更加精准地捕捉用户所感兴趣的内容,提升算法的性能。NCF推荐算法在推荐系统中应用比较广泛,它将深度学习进一步应用到推荐系统中,是一种通用的框架,可以表达和推广矩阵分解并且使用多层感知机去学习用户-项目之间交互函数,大大提高了推荐的性能。然而在NCF中,认为所有特征的影响相同,这消解了大量有价值的信息。该研究工作中,提出将注意力机制融入到NCF中。具体来说,它基于假设不同的交叉特征对于结果的影响程度不同,考虑不同特征对于模型的不同影响程度,调整特征的权重,进行优化损失。实验结果表明,在完全相同的实验设置下,在相同的数据集上进行实验,与NCF相比较评价指标有了提升。LightGCN推荐算法在推荐系统中是热门的研究课题,它将深度学习应用到推荐系统中,并将应用在推荐系统中的图卷积神经网络进行简化,大大提高了推荐性能。但是在LightGCN中的损失函数比较单一,仅使用BPR损失和L2正则化损失,未能充分利用数据集。该研究工作中,提出将对比学习其融入到LightGCN模型中。具体来说,设置了一个边界,用来过滤相似度低的信息,并使用超参数用来控制正负样本之间的相对权重,最大化正样本对之间的相似性,最小化已经过滤的负样本对之间的相似性,该方法使得实验效果更好。实验结果表明,在完全相同的实验设置下在相同的数据集上进行实验,与LightGCN相比较评价指标有了提升。本文实现一个小型的新闻推荐系统来提高用户体验,同时这也可以解决用户找不到自己想要的新闻这一问题。该系统采用了VUE与Python相结合的方式,VUE框架主要负责展示页面。Python主要使用Django框架进行设计,主要负责与数据库进行交互,以及将提出的两种推荐算法融入其中生成推荐序列。

基于深度学习的图分类算法研究

这是一篇关于图分类,网络表征,图卷积神经网络,胶囊网络的论文, 主要内容为自然界众多数据都可以用图的形式表示,例如化学分子结构、社交网络、城市计算、知识图谱等等。随着科技和社会的发展,各个领域的数据量也呈指数级增长,图对于复杂系统的强表现力使之成为众多领域问题建模的优先选择。图的分类一直是图处理领域的一个研究热点,对图进行分类在不同的领域有不同的意义,例如在在社交网络领域,图的分类代表着对用户类别的划分和对社区类别的划分;化学领域,图的分类代表着对分子结构和功能的辨别等等。无向图是图的一种数据结构,即图中的数据元素之间没有特定的顺序,只记录了数据元素之间的联系。经典的深度学习神经网络卷积神经网络(Convolutional Neural Network,CNN)和递归循环神经网络(Recurrent Neural Network,RNN)都无法直接应用于无向图分类。因此,本文对基于深度学习的图分类算法进行研究,融合Weisfeiler-Lehman算法和胶囊网络,构建了多维度的图结构表征并进行图表征的提取。主要工作和创新点如下:(1)针对基于深度学习的图分类算法中的图池化过程,本文提出一种基于多维深度图卷积神经网络的图分类算法(Multidimensional-Deep Graph Convolutional Neural Network,M-DGCNN)。传统的Weisfeiler-Lehman算法通过设计标签映射函数,将图内的子树结构用标签来表达,这些标签通常是一维的离散值。在深度学习中,表征都以向量或者张量的形式存在,并且数值都为连续值,无法直接应用Weisfeiler-Lehman算法。结合Weisfeiler-Lehman算法,本文设计了可应用于高维表征的多维排序池化层,对图卷积神经网络得到表征的每一维度进行排序,每个维度排序的结果都是当前维度下的图结构表征。然后根据多维排序池化层输出的特点,在卷积神经网络中设计合适的卷积核来更好地提取图表征,最终将图表征用于图分类。(2)针对卷积神经网络中池化层带来的信息丢失问题,本文融合了图神经网络和胶囊网络,提出了一种基于深度图卷积胶囊网络的图分类算法(Capsule Deep Graph Convolutional Neural Network,C-DGCNN)。胶囊网络中的胶囊包含着向量形式的特征,可以包含更丰富的信息。C-DGCNN将多维排序池化层输出的多维度图结构表征转化成胶囊的形式,不再使用池化层,而是通过胶囊网络的动态路由算法,将多维度的图结构表征进行更好地融合,提取出更准确和泛化性更强的图表征,提升图分类的效果。(3)在实际应用中,本文提出的算法可以应用到不同领域的图分类中,比如社交网络领域的用户类型划分、药物领域的药物类型辨别等,泛化性较强。本文分别在MUTAG,PROTEINS,PTC,IMDB-B,IMDB-M数据集上做了算法验证,评价指标为:Accuracy,AUC。实验证明本文提出的M-DGCNN算法具有更优的分类性能。而C-DGCNN算法具备更强的信息提取能力,在训练样本数量减少的情况下分类性能衰退更少。

基于糖尿病知识图谱的问答系统研究与实现

这是一篇关于图卷积神经网络,关系抽取,命名实体识别,双层时空图卷积神经网的论文, 主要内容为糖尿病是一种常见疾病。基于糖尿病的相关医疗知识问答系统会引导糖尿病患病人群科学的治疗和缓解糖尿病病症,指导糖尿病患者加强健康管理。本文通过将糖尿病治疗的相关知识和计算机的优势相结合构建糖尿病知识图谱并实现基于糖尿病知识图谱的问答系统,该系统的主要工作有命名实体识别、关系抽取、知识图谱和问答系统的构建与实现。命名实体识别和关系抽取是构建知识图谱的重要环节,其性能好坏会直接影响到知识图谱的质量。为了提高关系抽取在糖尿病数据集上的准确性,本文提出了一种用于关系抽取的双层时空图卷积神经网(Bilayer Spatiotemporal Graph Convolution Neural Network,Bi Sp GCN),该模型以双向长短时记忆网络(Bi-directional Long Short-Term Memory,Bi LSTM)为基础学习句子的时序信息,然后结合依赖树作为多头注意力引导的图卷积神经网络(Attention Guided Graph Convolutional Networks for Relation Extraction,AGGCN)的输入来学习空间信息,接着使用条件随机场(Conditional random fields,CRF)对Bi LSTM的时序编码信息进行粗略标注,并通过对AGGCN的空间编码信息进行深度标注,完成特征融合后实现关系抽取。该模型在中文糖尿病数据集和中文人物关系数据集上的实验结果表明,相较于现有AGGCN模型,Bi Sp GCN模型能够充分的学习句子的空间和时序信息,在中文糖尿病数据集上取得了不错的效果,对关系抽取有着很好的性能,同时也可以直接得到实体关系三元组并用于构建知识图谱。基于糖尿病知识图谱的问答系统能够接收用户提出的糖尿病相关问题,通过算法分析后得到问题类别。然后通过图数据库查询语句得到相应的答案。最后并以可视化的方式显示在网页上,进而实现了人机交互功能。构建糖尿病知识图谱的流程是:首先经过命名实体识别和关系抽取从中文糖尿病数据集中获得实体和关系组成实体关系三元组,然后使用Neo4j数据库中自带的Cypher语句构建知识图谱,将实体和关系以图的形式存入图数据库中,最后通过Neo4j可视化知识图谱。本文围绕基于糖尿病知识图谱的问答系统来展开研究,最终实现的问答系统能够帮助患者作辅助治疗以及在生活中帮助用户来了解糖尿病相关知识,达到预防糖尿病的发病或缓解病症。

跨语言新闻事件图谱融合设计与实现

这是一篇关于知识图谱,事件图谱,跨语言,图谱融合,图卷积神经网络的论文, 主要内容为随着人工智能计算能力的日益增强与可获取数据量的日益提高,知识图谱和事件图谱成为计算机领域内相当成熟的一个应用。但由于现有知识图谱和事件图谱大部分由一种语言构成,而一种语言无法对整个世界的知识进行全面描绘。在大数据时代,不同语言的信息共享已成为世界发展趋势。跨语言图谱融合由于多语言间的一词多义、一义多词以及未登录词等问题,一直是一个很难找到最优解决方案的研究难点。跨语言事件图谱融合旨在找到不同语言事件图谱中指向现实世界同一事件的事件指称,有助于跨语言事件图谱的补全和验证。本研究以跨语言事件图谱融合模型构建作为重点研究课题,将图卷积神经网络算法应用在跨语言事件图谱融合模型中,利用事件主体图来表示事件图谱中事件中心节点以及事件相关的实体节点信息,将跨语言事件图谱融合模拟为跨语言事件主体图之间的图匹配问题,运用图匹配方法来计算事件主体图之间的相似度,最后根据事件中心实体图的匹配状态,将两个单语言事件图谱进行节点对齐,来完成跨语言事件图谱的融合。本文主要工作内容分为四部分:(1)数据采集:通过医疗网站、新闻媒体等,爬取结构化和非结构化多语言数据,做为图谱构建的数据集。(2)新闻事件抽取:通过搭建新闻事件抽取模型,对采集到的非结构化新闻数据进行抽取处理,转换为结构化数据,作为图谱构建的数据集。(3)单语言事件图谱构建:构建中文和英文两个单语言医疗新闻事件图谱,为图谱融合提供数据支持。(4)跨语言事件图谱融合:首先构建跨语言事件图谱融合模型,然后将模型应用到构建好的两个不同语言的事件图谱中,输出一个融合度较高的跨语言事件图谱。本研究以医疗相关新闻作为研究领域,构建出跨语言事件图谱融合模型,并对模型性能进行测试。本研究最终融合构建出包含中文和英文的跨语言医疗新闻事件图谱,让人们从多语言视角了解医疗领域新闻情势,辅助人们更好地分析和预测接下来的医疗领域新闻局势。