基于图注意力网络的蛋白质结构分析
这是一篇关于深度学习,图神经网络,图注意力机制,蛋白质结构的论文, 主要内容为蛋白质是地球上生物体中组织和细胞的基本成分,在新陈代谢、运动、防御、细胞通讯、分子识别等诸多生化反应中发挥重要的作用。蛋白质由二十种氨基酸组成,每种氨基酸都有一个独特的侧链,并且具有不同的化学性质。氨基酸之间的相互作用驱动了蛋白质折叠和分子内键合,而这些相互作用最终使得蛋白质形成独特的三维形状。对于不同的氨基酸都具有其对应的特定氨基酸微环境,氨基酸微环境由其3D位置和具有相关结构或功能的局部邻域决定。了解氨基酸微环境对研究其它蛋白质结构或功能以及蛋白质工程至关重要。近年来,深度学习的研究进展迅速,研究人员已经利用深度学习方法来研究氨基酸与微环境之间的关系。卷积神经网络是主流方法之一,但只能解决用欧氏数据表示的问题。然而,许多实际应用都是非欧几里德问题,如社交网络,蛋白质-蛋白质相互作用网络和知识图谱等。图神经网络(GNN)是一种直接作用于图结构的新型深度学习方法。为了解决图学习方法所面临的挑战,研究人员将注意力机制应用到图神经网络中以提高其性能。由于氨基酸微环境高度依赖于其三维位置周围的邻域,因此注意力机制非常适合氨基酸环境分析,它可以用来关注相关的氨基酸而忽略其它氨基酸。本文提出了一个基于图注意力网络的蛋白质结构分析框架。在此基础上,针对氨基酸微环境分析与蛋白质结构评价两项任务分别建立了基于图注意力的氨基酸微环境模型和基于图注意力的蛋白质结构评价模型。前者是在分析蛋白质结构的基础上,通过蛋白质结构中特定位置的微环境对该位置的氨基酸类型进行预测。后者则是使用模型对预测出来的蛋白质结构进行质量评价,分为全局打分评价和局部打分评价。基于图注意力的氨基酸微环境模型的目的是研究氨基酸如何与其周围环境相互作用,并预测哪些氨基酸在特定环境中最相容。模型的输入是一个蛋白质结构的表示图,蛋白质中每个氨基酸表示为图中的一个节点。如果两个氨基酸的两个α-碳原子之间的距离小于9(?),则在它们两个节点之间设置连接。对于每个节点,从蛋白质序列和结构信息中提取其特征集,排除与氨基酸类型相关的特征。实验结果表明,我们提出的方法与已有方法相比大幅度提高了预测精度。使用基于图注意力的蛋白质结构评价模型进行了蛋白质结构评价的任务,其中蛋白质图的构建和特征提取方法与之前相同。使用Rosetta-300k中的同源蛋白质结构以及CASP13竞赛中的预测蛋白质结构分别训练模型。实验结果中,全局得分和局部得分相较于已有方法都有所提升,并且预测得分与真实得分存在很强的相关性,可以为蛋白质建模提供指导信息。本文的主要工作是提出了基于图注意力网络的蛋白质结构分析框架,针对氨基酸微环境分析与蛋白质结构评价两项任务建立了两个模型并进行了一系列实验,相较于原有的方法取得了一定的精度提升,并且模型可以正确捕捉蛋白质结构的局部得分趋势,说明该方法在蛋白质结构评价中具有一定意义。
基于知识图谱的推荐算法研究
这是一篇关于推荐算法,知识图谱,图注意力机制,记忆注意力网络的论文, 主要内容为随着大数据时代和信息技术的迅猛发展,利用推荐系统解决面临的信息过载问题已经被证实是一种有效手段。然而,普遍存在的数据稀疏性仍是一个亟待解决的问题。为解决这个问题,众多研究者已经提出了将知识图谱作为一种辅助输入与推荐系统结合的方法,这种方法不仅能够缓解上述提到的数据稀疏性问题,还在一定程度上提供了可解释性。利用知识图谱进行推荐的核心思想就是将知识图谱中丰富的语义信息进行聚合并输入到推荐系统中,进而实现利用知识事实增强推荐的目标。尽管基于知识感知的推荐模型已经取得了不错的成效,但仍存在一些问题:第一,现有的大多数基于知识图谱的推荐算法不是端到端的,这会给推荐系统带来负担,在训练Top-N推荐目标之前,首先要使用一些手动选择的元路径离线学习相似性或交换矩阵。第二,现有的基于知识图谱的推荐算法仅对节点的表示进行学习,没有充分利用知识图谱中的关系信息,忽视了用户对项目之间不同关系的关注程度的重要性。为了解决上述问题,本文引入知识图谱技术,主要研究了以下内容:(1)本文提出了一种基于知识图谱和图注意力的多视图多头记忆推荐算法。首先,使用图注意力机制取代基于元路径的相似度或交换矩阵的离线计算方法,这使得模型是端到端的。然后,根据知识图谱中实体的不同类型,本文提出一种多视图多头记忆注意力机制以提取特定于用户的更深层次的项目视图信息。此外,从知识图谱中提取特定于用户的信息,使推荐的结果更加个性化。本文进行了大量实验,尤其在Movie Lens-1M数据集上,所提模型的NDCG@5达到了0.5461,比表现最好的KGAT提升了0.94%。(2)本文提出了一种基于知识图谱和图注意力机制的关系感知推荐算法。首先,为了描述用户对项目的不同关系的关注程度,本文将知识图谱的语义信息嵌入到关系向量中。然后,对用户和项目的表征进行内积操作,并将其内积结果作为注意力权重,以将知识图谱转化成有权图并存储到邻接矩阵中。其次,本文采用图神经网络的多层迭代聚合算法,并联合邻接矩阵训练目标项目表征以将关系注意力信息融合到目标项目表征之中。另外,本文为目标节点构建一个固定节点数量的邻域子图,在这些子图上对项目的表征进行迭代聚合。本文进行了大量实验,尤其在Movie Lens-1M数据集上,所提模型的NDCG@20达到了0.4193,比KGAT模型提升了0.93%,在Book-Crossing数据集上,所提模型的NDCG@20达到了0.3900,比LRGCN模型提升了0.95%。
基于信息增强的知识图谱表示学习的方法研究与应用
这是一篇关于知识图谱表示学习,知识图谱补全,图神经网络,图注意力机制的论文, 主要内容为随着人工智能的不断发展,新一代人工智能逐渐被熟知,而认知智能作为其中至关重要的部分,是当前学者专家研究的热点方向。其中,知识工程是认知智能的核心之一,作为知识的载体、认知智能的基石,知识图谱是智能应用的重要数据支持,能实现机器语言认知,能增强机器学习的能力。知识图谱通过图结构的方式描述现实世界中的客观事实,但由于事实量巨大,知识图谱都存在不完整的问题,缺失大量知识,许多隐藏知识未被发现。因此,利用知识图谱补全技术发现隐含事实,补全知识图谱,具有重要意义。知识图谱补全是根据知识图谱中已有的知识去预测新的关系特征,从而推理出隐含的关联信息,预测缺失三元组信息,补全知识图谱。目前,主流的知识图谱补全技术,可归纳为:基于知识表示的方法、基于路径的方法、基于推理的方法,都取得了较好的效果。但现有的方法往往只考虑图卷积网络或一阶节点信息,忽略了图谱本身的图结构信息,同时也没有考虑全局的关系信息。针对以上问题,本文提出了结合知识图谱结构的语义信息和全局的关联信息从而提高知识图谱补全效果的方法。本文的主要工作如下:(1)针对现有图神经网络没有考虑图谱本身图结构信息的问题,提出一种结合多跳信息的图注意力网络,根据两跳关系的方向,在节点嵌入时融合领域节点及关系的图结构信息,得到节点增强嵌入;(2)针对现有图神经网络只考虑领域信息的问题,提出全局三元组信息融合机制,寻找与预测三元组关系相同的其他三元组,聚合全局关系信息,提高知识图谱补全效果;(3)基于上述知识图谱补全模型,设计并实现了一个医疗知识图谱智能问答系统,实现了知识图谱问答、知识图谱补全、节点关系查询功能。本文分析主流知识图谱补全模型的优缺点,基于旧模型的局限性,提出一种基于信息增强的知识图谱补全模型,提高知识图谱补全的效果。根据该模型设计并实现了一个基于医疗知识图谱的智能问答系统,测试了该系统各个功能,每个功能都能准确地实现,为用户提供便利。
生成式自动文本摘要关键技术研究
这是一篇关于生成式摘要,多粒度编码器,强化学习,图注意力机制,指导信号的论文, 主要内容为包含两种类型:抽取式方法和生成式方法,随着深度学习技术的不断进步,生成式文本摘要逐渐成为热门研究方向。目前自动文本摘要任务的核心问题是提取或学习原始文档中的核心语义生成摘要。本文以生成式自动文本摘要为主线,根据目标不同将其划分为多个子问题,其中包括:摘要的冗余问题、摘要要点缺失问题、生成摘要的事实一致性问题、摘要生成过程的可控性问题。第一,为解决摘要生成的信息冗余问题和摘要要点缺失问题,本文结合抽取式和生成式的优势,快速获得原文的重要语义信息的同时,利用模型生成流畅的摘要。再利用强化学习框架以端到端的方法训练这种联合方法。在此基础上,在抽取式模块中引入词级别的抽取方法,使用提取到的关键词集合丰富摘要的语义信息,避免因句子粒度过大导致的冗余问题。此外,引入图通知注意力机制,更深入的学习不连贯的重点句集合之间的语义联系,在摘要生成的过程中关注到所有与当前词元相关的重点语义信息,避免摘要要点缺失问题。第二,针对生成摘要的事实一致性问题和摘要生成过程的可控性问题,本文使用一种基于Transformer的编码器-解码器架构模型,用BERT语言模型对输入文本进行预训练。在此基础上额外扩展出外多种外部指导信号作为输入,帮助模型在摘要生成的同时关注到多种类型的外部指导信号,约束摘要模型的输出,控制摘要生成的语义方向。再从原始文档中提取事实实体,构建图结构,用知识图谱增强的方式增加解码器的事实感知,提高生成式模型的事实一致性。第三,在上述两个研究内容的基础上设计和搭建了面向公共卫生领域的生成式文本摘要系统,系统根据输入的原始文档自动生成完整、简洁流畅的文本摘要,同时提供实验评估功能,帮助用户能够更直观评判生成摘要的准确性。
基于图注意力网络的知识增强推荐方法研究
这是一篇关于知识图谱,推荐系统,图注意力机制,对比学习,解耦表示学习的论文, 主要内容为作为一项成熟的信息过滤技术,推荐系统通过建模用户潜在兴趣和偏好,有效解决信息过载问题并提升用户体验。知识图谱由现实世界关联丰富的实体组成,对于缓解推荐系统固有的稀疏性、冷启动问题起着至关重要的作用。一项主流技术趋势是设计端到端的基于图神经网络的知识(图谱)增强推荐模型。然而,当前基于图神经网络的知识增强推荐方法聚焦于提取知识图谱高阶邻域属性,忽略了以下三个提升推荐质量的关键要素:一是知识增强任务中细粒度的特征交互信号提取;二是用户-项目交互背后复杂意图表示;三是图推荐模型中高质量自监督信号的挖掘。上述问题在一定程度上阻碍推荐系统的性能。为此,本文通过对现有知识增强推荐工作进行了详尽的总结与分析工作,在已有研究的基础上目前已取得如下进展:1、提出一种融合特征交互和意图感知注意力网络的知识增强推荐方法。首先,采用基于图注意力网络的知识增强骨干网络来生成用户/项目原型表示;其次,使用双粒度卷积神经网络分别执行垂直卷积和水平卷积来提取细粒度特征交互信号,以增强项目侧表示学习能力;最后,基于解耦表示学习的思想,使用双级注意力机制对用户-项目交互背后的潜在意图进行提取,以提升用户侧表示学习能力,从而进一步提升推荐性能。2、提出一种基于双视图协同对比学习的知识增强推荐方法,该方法综合考虑协同知识图谱拓扑结构蕴含的两种语义互补但不同的视图。首先,对于主观交互视图,使用轻量化图卷积网络建模用户/项目的原型表示并施加分歧正则化项以进一步优化;其次,对于知识图谱客观结构视图,利用知识增强注意力网络来提取高阶特征;再次,使用双粒度卷积神经网络执行垂直卷积和水平卷积方法来捕获细粒度特征交互信号;最后,在两个视图之间执行高质量的协同对比学习,从而提升了节点表示学习能力并且实现相互监督和增强。在三个真实世界知识图谱数据集上进行的大量实验表明,本文提出的两种知识增强推荐方法优于文中所比较的基线模型,并阐明了所提出模型的有效性与合理性。大量的超参数实验与消融分析揭开了模型的神秘面纱与背后的复杂机理。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码货栈 ，原文地址：https://bishedaima.com/lunwen/49217.html
