面向科学领域论文摘要的相似度计算研究与实现
这是一篇关于知识图谱,知识图谱嵌入,图卷积,孪生网络,文本相似度计算的论文, 主要内容为文本相似性度量用来表示文本的语义相似度大小。近年来科学论文数量剧增,科学论文具有很强的针对性、严谨性、段落长、高度程序化等特性,语句结构复杂严谨,包含了丰富的领域知识,专业性极强。论文的摘要部分凝结了主要研究的方法理论、技术、研究过程等信息内容,能表达科学论文主要的研究内容信息,为研究人员高效地、快速地获取有用的内容提供方向。本文以科学论文的摘要为对象,进行文本相似度计算研究。本文以新冠领域科学论文数据集为例,结合知识图谱嵌入技术,构建了图卷积和孪生卷积神经网络的文本相似度计算模型,实验结果表明,在该领域科学论文摘要的文本相似度上取得了很好的效果。具体工作内容如下几个方面:(1)构建COVID-19科学知识图谱。本文采用云南高校的数据科学智能计算重点实验室“COVID-19”论文集、国际顶级医学期刊、中医药核心期刊和西药治疗科学文献组成的数据集。对数据进行预处理,建立了摘要文本的本体,通过本体及实体定义联合知识抽取,引入概念层次和领域知识,构建COVID-19科学知识图谱三元组,最后使用Neo4j对知识图谱进行存储。(2)COVID-19科学知识图谱的无标签化与泛化处理。首先,用表示法对知识图谱进行初始化,保留知识图谱的结构和语义信息,以获得初始化的嵌入向量;接下来,用关系对知识图谱进行初始化,将表征向量分配给结点;将关系分配给边节点;最后,对知识图谱进行关系泛化处理,得到了无标签化COVID-19科学知识图谱。(3)文本相似度计算。结合知识图谱嵌入技术,实体和关系被嵌入到一个连续的矢量空间,保留了知识图谱的原有结构。最后构建图卷积神经网络和孪生卷积神经网络,对无标签化COVID-19科学知识图谱进行特征提取,通过学习知识图谱的特征表示得到文本特征向量来计算相似度,实验中,用Drop＿node来抑制图卷积神经网络过拟合现象。
基于图卷积的时序脑功能网络预测和分类研究
这是一篇关于生成对抗网络,时序链路预测,脑功能网络分类,图卷积,功能磁共振的论文, 主要内容为人脑是由无数神经元相互连接形成的复杂网络,基于脑网络的分类与预测在疾病诊断和脑机接口领域应用较广。脑网络随时间动态变化,对下一时间段脑功能网络的预测可以提前了解被试之后的脑认知状态,是现有脑机接口应用的拓展;对脑功能网络进行分类,对有望实现不同脑疾病诊断。因此,脑网络分类及预测是脑网络研究中新出现的热点。随着深度学习的发展,卷积神经网络(Convolutional Neural Networks,CNN)作为深度学习的典型代表,被越来越多的研究人员应用到脑网络研究中。图卷积神经网络(Graph Convolution Networks,GCN)对图结构的数据具有强大的特征提取能力,而脑网络的数据具有明显的图的拓扑结构。因此,相对于传统的卷积神经网络,GCN能够提取到更多脑网络的属性特征。但是,目前基于GCN的脑网络分析还较少。为了能提高脑网络的预测和分类性能。本文在已有研究基础上,将GCN应用于脑网络的分类和预测中,提出一种基于生成对抗网络(Generative Adversarial Net,GAN)的时序脑功能网络预测模型GAGCN、一种基于图卷积和长短期记忆网络(Long Short-term Memory Networks,LSTM)的时序脑功能网络分类模型GCN-LSTM-C,并在两组公开数据集(ADNI数据集和Cam＿CAN老化数据集)中应用这两种模型,分别在脑网络的预测和分类取得较好的性能。具体研究内容如下:(1)基于生成对抗网络的时序脑功能网络预测研究。脑功能网络预测在脑机接口领域具有重要的研究意义,本文基于GCN和GAN实现对脑功能网络的预测。针对传统的脑网络链路预测方法没有解决对时序脑功能网络预测,忽略了对脑功能网络拓扑特征和时序特征相结合的问题,本文提出了一种基于生成对抗网络的时序脑功能网络的链路预测模型GAGCN,通过GCN和LSTM分别捕捉脑功能网络的拓扑特征和时序特征,并使用全连接层(fully connected layers,FC)进行特征融合进行预测,进而实现脑功能网络的预测。本文从AUC和MAP等方面评价模型的预测性能,所提的模型在两种数据集上AUC可以达到0.95,MAP可以达到0.92,具有较好的预测效果。(2)基于图卷积和长短期记忆网络的脑功能网络分类研究。脑网络分类是脑网络相关研究中的热点,在临床医学领域对脑疾病的诊断具有巨大的应用价值。针对脑网络分类领域中,大多数的分类研究缺少了对数据中时序因素考虑的问题,本文提出了一种基于GCN和LSTM对脑功能网络的分类模型GCN-LSTM-C,从脑功能网络的拓扑属性和时序属性出发,将时序脑功能网络的拓扑特征和时序特征提取并融合,进而实现对脑功能网络的分类。通过对数据集采用不同的方式进行划分并多次实验,探究不同数据划分方式下模型的分类性能。模型的分类准确率在ADNI数据集上四分类准确率训练集均可以达到99%以上,测试集按照不同的划分方式可以达到50%以上和95%以上;在Cam＿CAN数据集上三分类准确率训练集均可以达到99%以上,测试集按照不同的划分方式可以达到70%以上和95%以上。所提模型在两种数据集都有较好的分类效果。综上,利用图卷积神经网络对时序脑功能网络数据的时序特征和拓扑特征综合研究,不管在脑功能网络预测还是在脑功能网路分类,都有一定的提升作用,具有一定的应用价值。
基于互补因子分解的套装兼容性建模研究
这是一篇关于时尚分析,兼容性建模,注意力机制,图卷积的论文, 主要内容为随着全球时尚领域蓬勃发展,线上服装购物已经成为人们日常生活中密不可分的一部分,并且人们对于服装的搭配性要求越来越高。然而,人们想要从海量服装商品中挑选出搭配合理的套装是比较困难的。因此,不管是作为提供线上交易的电商平台,还是作为购买服装的实际用户,都迫切地需要一个自动服装搭配工具。该工具可以帮助用户快速寻找到合适的服装单品来组成搭配合理的套装。从本质上看,自动服装搭配工具的核心技术之一是套装兼容性建模,即能够对于一个给定的套装(单品集合),评价其搭配程度并给出兼容性分数。现有的套装兼容性建模工作大致分为三类:基于成对单品的套装建模方法,基于单品序列的套装建模方法,以及基于单品图结构的套装建模方法。这些方法首先专注于为套装中每个单品学习良好的特征表示,之后将学习好的单品特征组合为成对方式进行兼容性打分,或者直接对单品特征进行兼容性打分。尽管这些工作取得了一定的研究成果,但是它们都忽略了两个问题:(1)套装兼容性应该从套装全局视角出发进行评价而不应该割裂开来,也就是需要建立一个包含各个单品上下文信息的全局套装特征表示。该特征表示对于兼容性建模是有利的,它可以从整体上对各个单品之间的兼容关系进行整合;(2)它们也忽略了套装兼容性应当从多元角度出发进行评价,而仅在单一的兼容性空间进行评价是片面的,不能完全刻画套装中复杂多样的搭配模式。人们对于套装搭配程度的评价往往是多种多样的,例如套装在颜色方面浑然一体,在风格方面保持一致,在款式方面错落合体。所以,对于套装的兼容性评价从多个角度出发是更加完善的。为了解决前述问题,本文提出一种基于互补因子分解的套装兼容性建模方法(模型简称为OCM-CF)。具体而言,OCM-CF模型包含两个核心模块:基于上下文感知的套装特征表示模块和基于隐式互补因子的兼容性学习模块。前者利用图卷积神经网络和多头注意力机制,自适应地学习一个包含上下文信息的全局套装特征表示。后者利用多个包含全局套装特征表示的并行分支,来捕捉不同隐式因子下的套装兼容性。其中,为了保证每一个隐式因子可以充分地被学习,并且多个因子可以互相补充来提升套装兼容性评价的全面性,本文提出了基于正交结构的互补性正则损失函数。最终,套装的兼容性得分由不同评价空间的套装兼容性分数求和得来。本文提出的模型,在两个公开的真实世界数据集上进行了充分地实验,其实验效果证明了模型具有优越性和有效性。
基于跨模态特征生成的零样本识别研究
这是一篇关于零样本学习,对抗生成网络,语义增强,跨模态学习,图卷积的论文, 主要内容为零样本学习的目标是去识别在训练过程中没有出现的类别,对于传统的分类方法很难依靠训练集中的样本来识别没有见过的类别。因此早期的零样本学习方法开始引入其他模态的信息如语义特征来帮助识别不可见类别的视觉特征,通过训练一个嵌入空间,将视觉特征和语义特征投影到这个共同的空间,再通过该空间中的度量学习完成预测,本文把这种方法称为基于嵌入式的方法。然而,这种方法很难避免偏差问题,即不可见类别会更容易被误分类为可见类别,这是由于模型都是通过可见类别样本训练的。因此近些年的学者尝试使用另一种方法来解决零样本学习从而避免偏差问题,他们使用了深度生成模型来直接生成不可见类别的样本并补充到训练集中。这种基于生成的方法依靠主流的生成模型如对抗生成网络[1]或者变分自编码器[2],但是这些生成模型的训练过程不稳定,这也导致了生成的不可见类别的特征中的视觉信息和语义信息难以得到保证。为了解决这个问题,本文基于现有的生成模型提出了跨模态语义增强对抗生成网络,通过将跨模态特征引入生成网络来提升生成特征的视觉信息和语义信息。跨模态语义增强对抗生成网络使得对抗生成网络中的生成器能够生成跨模态特征,并利用辨别器来辨别真实的跨模态特征和生成的跨模态特征。此外,本文将模型中的跨模态语义增强模块作为一个“弱约束”用在对抗生成网络之上,来尽量减少对于对抗生成网络的依赖,并且尽量少地影响网络的稳定性。本文在三个常用的零样本学习数据集上验证了模型的优越性,其性能超越了其他基于生成模型的方法。此外另一种基于图的零样本学习方法也逐渐得到学术界的关注,这种方法基于Image Net-21K[3]这种大型数据集,通过大量的类别间的关系构建图网络,并使用图卷积[4]在图上提取信息,最终直接生成目标的视觉分类器。本文在基于图的方法的基础上进行改进,提出了语义增强知识图谱和多重粒度融合图网络,引入了语义特征和多粒度融合,从语义模态和视觉模态对图网络进行增强,对知识图谱进行语义上的降噪和增强,并修改图卷积堆叠方式来捕捉多重粒度的信息,最终生成更加准确的视觉分类器。本文在性能实验中验证了模型在性能上相较于其他模型的优势。
基于GCN与BiLSTM的案件相似度计算方法
这是一篇关于知识图谱,图卷积,BiLSTM,Hard mining,相似度学习的论文, 主要内容为随着人工智能的发展,司法正逐步由电子化、信息化转向智能化。运用法律检索、分析与推荐平台在浩瀚的法律文书中快速查找到感兴趣的案件,能将人们从繁琐的工作中解放出来,大大提升工作效率,这无疑是现代司法最迫切的需求。该问题属于法律案件相似度计算问题。目前国内在法律文本相似度计算方面,采用的方法主要是通用领域的文本相似度计算方法,这些方法没有考虑法律文本的特点,在案件相似度计算方面仍存在许多问题。首先,目前基于深度学习的模型难以获取法律要素之间长期、全局和非连续的依赖关系,尤其案件各要素间天然形成了一种关系图,而常用的序列模型缺乏捕捉这种结构信息的能力,因此无法发挥它们的最大优势;其次,通用相似度计算算法在计算过程中难以解决法律文本较长,文书存在大量的冗余信息的挑战。因此,针对法律文书的特殊性,在建立案件知识图谱的基础上,构建图神经网络模型,实现案件的精准相似度计算是一个值得研究的课题。为了解决上述问题,一方面,本文设计了一种将深度图卷积神经网络与双向长短期记忆网络相结合的网络结构,它不仅能提取法律文书中文本语义信息,还能捕捉案件中主体与客体之间复杂的法律关系。通过该网络模型,能对法律文书进行有效表征,实现法律案件的精准相似度计算。另一方面,本文采用了一种Hard mining方法,它能在训练过程中动态调整负样本挖掘的比例,在法律资源极为昂贵的条件下,该方法能解决法律标注数据不足的问题,有效提高模型训练的准确率。本文进行了大量实验,实验结果表明,本文提出的方法在案件相似度计算准确率上优于前沿的方法,这证明了本文提出的方法可以有效地提取图结构特征,从而捕捉案件中复杂的关系,并学习到不同案件之间的区别与联系。
基于知识图谱的短视频实时推荐方法研究
这是一篇关于实时推荐,短视频,知识图谱,图卷积,长短期兴趣的论文, 主要内容为在当今移动互联时代,多媒体影音娱乐行业得到迅猛发展,娱乐信息呈爆炸式增长趋势,信息过载、知识冗余等问题日益严峻,如何高效、准确地获取感兴趣的娱乐信息成为人们日常生活中的一个难题。推荐系统是数据挖掘和机器学习领域的重要应用之一,是解决信息过载的重要途径。近年来,推荐系统的应用越来越广泛,包括新闻、电影、社交网站等多个领域。个性化推荐可以在用户没有明确的需求目标时,根据用户的历史行为数据和用户的属性偏好,构建合理的算法,推测最有可能符合用户兴趣的结果并反馈给用户。短视频因具有更新快、传播广的优势,可以使用户在碎片化的时间里获得多种信息,从而得到了越来越多人的青睐。但当今时代人们生活节奏快,用户的兴趣易变,因此针对短视频的实时推荐显得尤为重要,推荐实时性与用户的使用体验关联密切。本文针对短视频的实时推荐性能较差的问题,提出了一种基于知识图谱的短视频实时推荐方法,该方法主要包含了融合时间信息和多属性特征的知识图卷积表示方法和改进的基于多任务的长短期偏好融合模型两个部分,分别介绍如下:一、本文针对短视频推荐的准确性和多样性较低的问题,提出了融合时间信息和多属性特征的知识图卷积表示方法。该方法首先通过注意力机制对视频进行预处理,注意力机制可以高效地对视频的主要属性特征提取出来,然后利用知识图谱的卷积方法对用户兴趣进行嵌入表示,知识图谱除了包含丰富的节点信息以及节点之间的关联信息之外,本文加入用户浏览时长作为关系的权重,来衡量用户对视频的喜好程度。该方法综合考虑了用户的长期和短期兴趣,使得推荐结果中既包含用户本身的长期兴趣,也包含了近期的兴趣漂移,保证了推荐结果的多样性和准确性。二、针对短视频推荐的实时性差的问题,本文提出了改进的基于多任务的长短期偏好融合模型。由于LSTM模型具有优异的特征累积和传递性,而用户的兴趣变化也有同样的变化特点,因此本文使用改进的LSTM模型来进行长短期兴趣的融合。将长期兴趣作为LSTM模型的初始输入,在用户的短期兴趣发生变化程度超过阈值时,说明此时用户的兴趣与当前的推荐差距较远,于是实时地更新推荐,将此时的短期兴趣表示作为LSTM模型的当前输入。同时引入了时间参数t,代表每次推荐的有效时间,在LSTM中引入更新门,来说明兴趣衰减的程度。此模型还设置了两个训练任务,在改进后的LSTM模型基础上来共享两个任务的训练参数,在保证推荐准确性的基础上提高了实时性。为了检验本文所提方法的有效性,在ICME-2019短视频数据集上进行了对比实验,通过准确率、召回率、MRR等指标与几种主流短视频推荐算法进行了比较。经过实验验证,本文所提方法比FM、LSTM等主流的动态推荐方法在准确率、召回率和推荐速度上均有所提升,在保证推荐准确性的同时,提高了推荐实时性。
基于深度学习的三维目标检测
这是一篇关于三维目标检测,注意力机制,Transformer,图卷积,特征融合的论文, 主要内容为三维目标检测是机器感知的关键技术之一,用于解释周围环境,检测周围物体的三维信息。它被广泛应用于自动驾驶、智慧城市以及智能机器人等实际应用中。然而,在三维目标检测中,由于点云特征信息易丢失导致检测性能下降。为此提出将多尺度特征融合输入到三维目标检测网络中,以实现检测性能的提升。首先,通过分析国内外三维目标检测的方法与框架,确立以栅格化点云数据作为本文三维目标检测网络的输入。在后续点云目标检测的研究中,发现现有特征提取方法易造成缺少点云特征信息的问题。因此提出以注意力机制和图卷积加强对全局及局部的特征提取的方法,并进一步分析了改进的方向。其次,在注意力机制的改进上,选取现在全局特征提取表现优异的Transformer进行改进,将改进网络命名为DRPT。创建了一个应用于点云上的Transformer网络,该网络利用自注意力机制建立点云数据之间的关联性。然后通过双随机矩阵进行归一化操作,提升对全局特征的提取。为验证其优越性,在数据集Model Net40、Shape Net Part上进行实验,与基准网络在相比DRPT将检测精度分别提升5.6%和5.5%。同时对增强局部特征提取的图卷积进行改进,将改进网络命名为3DGGCN。该网络首先插入栅格查询模块,可以在保持局部信息完整的同时,进一步提高局部特征的准确性和稳定性。并在后续引入可变形卷积核,可以根据点云的数量来产生卷积核的变化,进一步提高了点云的特征提取能力。为验证改进模型在处理大型点云场景能力的优越性,选取数据集Semantickitti、Semantic3D进行实验,发现与基准网络相比3DGGCN将精度分别提升3.9%和6.2%。改进模型相较于基准模型在各方面都有了较大的提升。最后,将针对注意力机制和图卷积的改进融合到一起形成特征增强层,并结合Point Pillars网络实现了三维目标检测,将改进网络命名为TG-Pillars。该网络利用DRPT和3DGGCN分别进行点云全局和局部特征的提取,并将两种特征进行多尺度特征融合,以解决三维目标检测网络中缺乏几何特征的问题。TG-Pillars在KITTI数据集上进行了验证,该模型将车辆级精度提高了2.16%,行人级精度提高了3.84%,自行车级精度提高了2.09%。在后续的实地应用中,将模型应用于ROS中实现实时的激光雷达点云目标检测。这意味着该模型在自动驾驶、智慧城市以及智能机器人等多种实际应用中具有广泛的应用前景。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计客栈 ，原文地址：https://bishedaima.com/lunwen/46255.html
