基于知识图谱的可解释推荐算法研究

这是一篇关于知识图谱,推荐系统,自注意力机制,表示学习的论文, 主要内容为大数据时代,推荐系统通过分析用户历史行为数据发掘其潜在需求,从而为用户推荐其感兴趣的信息,以有效解决信息过载问题。传统的推荐算法,存在互动数据稀疏等问题。利用不同类型辅助信息对推荐算法进行多角度信息补充能够解决以上问题,从而提升算法准确率。将知识图谱作为辅助信息整合至推荐算法中,不仅能够为算法引入更多语义关系从而提升其推荐准确性,而且为推荐结果可解释带来可能。基于图谱中路径的推荐是目前基于知识图谱的推荐算法的主流方法。现有工作一般将路径看作实体序列,按照自路径起点至路径终点的顺序将实体表示输入至循环神经网络中学习路径表示。因此,实体表示学习和路径表示学习的质量会直接影响推荐性能。基于循环神经网络的学习路径表示的推荐算法取得了一系列研究成果,但是在实体表示学习和路径表示学习等方面仍有提升空间。现有工作所采用的实体表示学习方法往往只关注三元组内的实体和关系,没有考虑邻域实体等信息,影响了实体表示学习的效果。此外,现有工作在学习路径表示时,往往受限于循环神经网络的结构,只能学习实体间的顺序依赖关系,缺乏了对路径中非相邻实体间直接依赖关系的考虑,导致路径表示学习不够充分。为了解决以上问题,本文提出了一种利用自注意力机制学习路径表示的基于知识图谱的可解释推荐算法KTRec。具体贡献如下:(1)本文设计了一种结合图卷积网络和矩阵分解的预训练方法来学习实体表示,使其表示结合了知识图谱中的辅助信息、隐式反馈及显式反馈中的用户历史偏好信息。(2)本文提出了一种利用自注意力机制学习路径表示的方法,利用Transformer模型的自注意力机制计算路径中每个实体表示与所有实体表示间的注意力分布,并根据该分布生成路径表示,充分考虑路径中实体间的依赖关系,提高路径表示学习的质量。(3)本文设计了一种基于双重注意力机制的优化路径表示方法,通过设置用户注意力模块和物品注意力模块,结合用户和物品特征进一步优化路径表示。实验结果表明,与现有工作相比,本文提出的KTRec算法获得了更好的推荐性能。除此之外,本文还设计了一个基于知识图谱的可解释推荐原型系统,为用户提供基于KTRec算法的个性化可解释推荐服务,具体包括Web展示模块、推荐模型模块和数据模块。其中,推荐模型模块包括推荐模型的训练、候选召回和排序等服务;数据模块包括数据收集和数据存储等功能。经过对系统中各个模块的设计与实现,测试结果表明该系统在功能和非功能两方面均符合需求分析阶段的预期效果。

基于小样本学习的关系抽取研究

这是一篇关于关系抽取,小样本学习,关系分类,归纳网络,自注意力机制的论文, 主要内容为深度学习的概念一经提出,便引发了人工智能领域的发展狂潮,尤其在自然语言处理领域中,其影响极其深远。对于自然语言处理任务而言,仅依靠传统模型与数据标注结合的方法无法做到语义的精准理解。想要准确深入地理解语义,必须将先验知识融入到自然语言处理任务中。实践证明,知识指导的自然语言处理是未来发展的必由之路。随着研究的深入,知识图谱得到了广泛的应用,尽管如此,知识图谱依然面临着覆盖度不完整等问题。为了提高知识图谱的覆盖度,并为其添加更准确的知识,研究者们提出了关系抽取的方法,该方法旨在识别并抽取实体对之间存在的语义关系。当今的实体关系抽取的主流方法是依赖大规模的数据,但由于长尾分布问题是关系和实体对之间普遍存在且尚未解决的问题,使得在关系抽取问题上缺乏大量的有效数据,而训练神经网络却需要大量的有效数据,这就导致了在训练数据较少时神经网络模型的性能会受到极大的影响。因此,当训练数据较少时,可以将关系抽取视为小样本学习任务。小样本学习任务是受到人类“闻一知十”的学习能力的启发,进而可以让关系抽取模型也获得见微知著的学习能力。将小样本学习引入到关系抽取模型中,模型就能够从训练过的数据中获取有用的先验知识,并将其与新的数据相结合,最终使计算机和人类一样具有“举一反三”的能力。本文将小样本学习与关系抽取相结合,利用神经网络模型在少量的样本数据上抽取出给定实体对之间包含的语义关系。对于小样本关系抽取问题,本文添加多层级的自注意力机制对传统的归纳网络进行了改进。首先,本文提出了多层级自注意力机制,包括实例级别和任务级别的注意力机制,可以对支持集进行调整进而获取在支持集和查询集之间的高层级的信息;其次,将归纳网络和自注意力机制进行融合,采用以注意力机制为基础的动态路由算法来表示与查询集相关的类别表征,构建了Improved Induction Network with Hierarchical Selfattention Scheme模型;然后将模型应用到Few Rel数据集,并经过实验验证了多层级的自注意力机制对模型性能的影响;最后与传统的归纳网络以及其他小样本关系抽取模型进行对比,最终的结果表明本文的模型是可适应的,并且取得了良好的效果。

基于图网络结构的推荐系统模型研究

这是一篇关于推荐系统,图卷积神经网络,含权网络,自注意力机制,图注意力网络,多视图的论文, 主要内容为随着互联网上的“信息过载”影响进一步扩大,推荐系统已经成为人们生活中不可或缺的一部分。个性化服务提供者追求更高性能的推荐系统以及模型算法也引起了学术界和工业界研究者们的广泛关注。图神经网络(GNN)在图领域上的数据处理有着一定优势,它可以自然地整合节点邻域信息和拓扑结构,近年来也被成功地应用到推荐问题中。目前,基于GNN的推荐模型主要有如下不足:第一点是在用户—项目二部图中直接使用图卷积神经网络(GCN),没有对邻域内的邻节点进行区分,一方面是邻域内节点类别上的不同,另一方面是中心节点与邻域节点间连接紧密性的不同。第二点是大多图卷积网络模型对用户兴趣特征提取时没有关注历史交互序列的内部顺序,因此无法区分用户的长期兴趣和短期兴趣。第三点是单个GCN网络难以高质量学习到图中节点在不同特征视图下的嵌入表示。针对以上问题,本文对基于图网络结构的推荐模型的贡献主要有以下几点:(1)利用SVD矩阵分解完成从用户—评分二部图到用户同质图和项目同质图的构建。然后改进了经典GCN模型,提出一种加权图卷积神经网络,将其应用于考虑实体相似性的协同过滤推荐中,分别在两种含权网络上进行用户和项目的潜在特征提取,同时使用one-hot以及muti-hot编码的方式嵌入二进制向量化后的实体特征。最后使用向量内积完成评分预测的推荐任务,在两种数据集中完成了RSME和MAE评测指标上的性能测试。结果显示我们的模型相比传统矩阵分解类模型和经典GCN类模型显示出了一定的优越性。(2)将用户兴趣划分成短期偏好和长期偏好,提出了一种联合LSTM和图注意力网络的协同过滤推荐模型(LGACF)。对于用户短期偏好特征,该模型引用长短期记忆网络和自注意力机制使其在训练过程中,自注意力部分能够对用户的历史交互项目给予不同程度的关注,自适应地分配权重,长短期记忆网络用于学习用户历史交互序列的内部依赖,从而得到用户短期兴趣表示。(3)对于用户长期偏好,LGACF还包括了本文提出的一种多视图的图注意力网络,使用多个图注意力网络在用户项目二部图上进行自适应地学习并汇总评分视图和特征视图下的节点特征,获取了用户的长期兴趣表示和项目表示。最后使用向量内积完成Top-K推荐任务,在两个数据集中进行了HR@K和NDCG@K评测指标上的性能测试。结果显示相比基于序列的推荐模型相比和图卷积类的推荐模型相比,LGACF拥有更好的性能表现。

基于差分隐私的新闻推荐算法研究

这是一篇关于推荐系统,差分隐私,自注意力机制,NRMS模型的论文, 主要内容为在大数据时代,新闻信息严重过载,因此新闻推荐系统的应用非常有必要。然而新闻推荐系统所获取的用户属性、行为等数据包含了大量用户隐私信息,极易导致隐私泄露问题。因此,研究基于差分隐私的新闻推荐算法是一项具有重要意义的工作。本论文针对新闻推荐算法中隐私泄露问题,基于差分隐私机制,在NRMS模型的基础上设计了一种隐私保护模型。在该模型用户编码模块,根据自注意力机制中的权值自适应地分配隐私预算,从而更好的保护用户隐私和保证数据可用性。进一步,在理论上证明了提出的隐私保护算法是满足差分隐私定义的,并在真实新闻数据集上验证了本文设计的模型在保护用户隐私和保证数据可用性等方面具有优越性。

基于深度学习的中文实体关系抽取研究与实现

这是一篇关于信息抽取,命名实体识别,自注意力机制,知识图谱的论文, 主要内容为随着互联网和信息时代的发展,越来越多的数据以各种形式存在于互联网中。这些海量数据中提取出有价值的信息是当前研究的热点,而信息抽取则是实现这一目标的关键。在信息抽取领域,命名实体识别(Named Entity Recognition,N ER)和关系抽取(Relation Extraction,RE)是两项最基础任务,它们对于构建知识图谱、机器翻译、自动问答等多个下游任务都具有重要意义。因此,这两个任务被广泛应用于自然语言处理和人工智能领域。本文的主要研究方向是命名实体识别和关系抽取,旨在通过融合深度学习等算法来提升模型的性能表现,本文的主要工作和创新点如下:首先在命名实体识别模块本文提出了基于自注意力机制的LatticeLSTM-self-attention模型。该模型首先利用LatticeLSTM网络对所有合法输入的字符序列和所有能够和词典匹配的潜在词汇进行编码,在LatticeLSTM网络中不仅嵌入了字符信息还通过构建词汇词典来嵌入词的序列信息,通过该词典对句子中的每个字输入进行匹配,从而可以有效避免因分词错误而影响识别效果,本文通过实验证明LatticeLSTM模型在中文命名实体识别领域的有效性。但是由于LatticeLSTM网络本质仍是长短期记忆网络的变体,就会存在长距离依赖的问题,针对此类问题,本文结合自注意力机制,通过对每个单词分配不同的权重来区分不同单词的重要程度一定程度上能缓解长距离依赖的问题。由于缺乏学科领域的公共数据集,本文通过收集大规模的学科语料并结合自训练和数据增强的方法构建了学科领域数据集并在学科领域数据集上进行大量的实验和分析,充分证明了融入自注意力机制的LatticeLSTM模型在中文命名实体识别领域的有效性。之后在关系抽取模块,本文在BERT的基础之上使用BERT-BIGRU模型并基于流水线的方式将命名实体识别和关系抽取这两项任务串联起来实现信息抽取,通过命名实体识别模块识别出文中存在的知识元实体,再通过关系抽取模块对识别出的实体进行关系分类。本文在制作的知识元数据集上进行大量的对比实验,证明BERT-BIGRU模型在中文关系抽取中的有效性。最后通过这两个模块从海量非结构化文本中提取知识元实体关系三元组并使用Neo4j图数据库作为存储介质来构建学科知识图谱,本文设计并开发了知识可视化平台,并在平台中添加了知识点查询和知识库管理等基础功能。

基于知识增强图神经网络的特定人群异常风险评估方法研究

这是一篇关于异常风险评估,知识图谱,图神经网络,多图编码器,自注意力机制的论文, 主要内容为监所承担着对罪犯进行监管、教育和改造的重要职责,是保障公共安全的重要机关。近年来,随着扫黑除恶斗争的开展、社会治理体系的不断完善,监所内涉黑涉恶犯罪人员的比例逐年大幅增加,监管难度增大,行凶、自杀、脱逃案件频发。因此,监管单位如何实现客观、精准的罪犯危险性评估,科学地组织风险管控工作至关重要。自国家开展罪犯危险性评估工作以来,全国各地监狱系统研发了多种风险评估工具,但仍存在一些不足,具体表现为:1)在风险评估时多依赖人为经验,主观性强、置信度和有效性低;2)数据稀疏、多源异构,传统基于统计分析的评估方法无法深入挖掘潜在心理活动;3)特定人群心理、行为演化机理认知模糊,预判准确率低、存在滞后性且针对性差。针对上述问题,本论文提出利用监所特定人群长短周期多源异构数据以及知识图谱、推荐系统等技术手段,研究心理/行为模式下的特征融合表示和建模方法;利用图神经网络等模型,研究特定人群心理动态规律和时空行为模式,建立风险评估模型,实现未知风险提前预判。主要进行了以下几个方面的研究:(1)针对监所特定人群多源异构数据之间缺乏客观关联性、无法进行知识图谱扩展的问题,提出了基于实体相关性的特定人群知识图谱构建方法。该方法利用实体语义相似度和关联特征重要性的加权方式进行实体之间的决策连接,从而构建形成特定人群知识图谱,为异常风险评估模型提供丰富的数据基础和可解释性分析。(2)针对以往图学习推荐系统中信息传播仅关注少量重要关系,不能充分利用关联实体特征的问题,提出了基于知识增强图卷积网络的多图编码器模块。该模块基于实体相关性进行自适应子图分割,形成多关系子图,利用图卷积网络并行处理不同关系子图上的异构项目依赖性,提高模型计算效率,实现对特定人群多源异构数据的充分挖掘。(3)在多图编码器模块的基础上,进一步提出了基于自注意力机制的特定人群异常风险评估模块,实现对服刑人员用户画像和心理行为状态特征的整体精准刻画。该模块通过基于自注意力机制的跨子图嵌入学习层,学习多关系子图的嵌入相关性,实现全局知识背景下的实体表示增强,最后通过多层感知机实现特定人群异常风险评估。本文针对提出的基于知识增强图神经网络的特定人群异常风险评估算法,利用监所特定人群数据集进行了消融实验和对比实验分析,实验结果表明了本文所提算法的有效性和优越性。并且通过调研和需求分析,运用相关技术完成了特定人群异常风险评估系统的设计与实现。

用户意图兴趣感知的个性化推荐及可解释研究

这是一篇关于用户意图感知,自注意力机制,图神经网络,可解释推荐系统,子图模式挖掘的论文, 主要内容为随着云计算、大数据、物联网等技术的发展,互联网中层出不穷的应用引发了数据规模的爆炸式增长。大数据中蕴含着丰富的科研价值与商业价值,却也给用户带来了严重的信息过载问题。推荐系统作为解决信息过载的有效方法,在诸如社交网络、电子商务、流媒体推荐等领域已经有了许多成功应用。在个性化推荐领域,用户的行为非常复杂且稀疏。现有的工作大多采用基于深度学习的序列模型建模用户的行为。然而现有的方法仍然存在以下几个问题:首先,一维结构的序列模型无法捕捉用户行为中复杂的分支结构以及的非线性兴趣转换。其次,序列模型通常会丢失较长的用户行为序列中的部分关键信息。最后,基于深度学习的方法通常难以进行模型方面的解释,这限制了深度学习在一些需要解释的实际场景的应用。本文针对以上问题展开研究。首先,本文通过使用图神经网络、层次化注意力、用户意图解纠缠等机制捕获用户行为序列中的偏好与意图,为用户推荐其可能感兴趣的兴趣点。其次,本文通过使用异构图网络、图注意力网络、子图模式挖掘等方式,将图神经网络推荐系统应用于数据形式复杂的真实的游戏商城推荐场景中,并且提供了可用的推荐结果解释。本文的主要工作包括三部分:(1)为了有效建模用户行为数据,准确捕获用户的偏好,并且自适应地加以利用,提升推荐系统的性能,本文提出一种基于图神经网络的序列推荐模型(Attentive Sequential model based on Graph Neural Network,ASGNN)。该模型使用门控图神经网络对于用户的行为数据进行建模,使用个性化的分层注意力网络捕获用户的偏好并自适应地与推荐模型融合,从而为用户提供准确的推荐。(2)为了更细粒度地探究用户的意图,提升推荐系统的性能,本文提出一种基于图神经网络的意图感知的推荐模型(Intent Aware Graph Neural Network,IAGNN)。该模型使用门控图神经网络建模用户行为,使用注意力机制捕获用户偏好,并且设计了一个基于图神经网络的解纠缠模块用于提取用户意图。该模型将用户偏好与用户意图进行结合,从而进一步提升推荐系统的性能。(3)为了应对真实游戏商城推荐场景中复杂的多源的不同类型的数据结构和可解释性要求,本文提出一种基于异构图注意力网络的可解释推荐模型(Multi-source Heterogenous Graph Attention Network for Explainable Recommendation,MHANER)。该模型使用异构图注意力网络建模用户复杂的行为数据,同时学习用户和物品的表征,通过注意力机制为用户实现个性化的精准推荐。除此之外,该模型使用一种多层次的子图模式挖掘方法,找到影响用户行为的关键的子图结构,通过该子图结构为用户提供个性化和多样化的推荐理由。

基于深度学习的服装搭配推荐关键技术研究

这是一篇关于相容性,特征融合,自注意力机制,图像分块的论文, 主要内容为作为文化和创意设计等软实力的标志,时尚产业蕴含着重大的市场价值和发展潜力。随着社会的发展,人们的时尚品味和需求在不断提升,而服装搭配是追求时尚最直接的方式。服装搭配是时尚领域知识和个人主观创造力相结合的产物,并非每个人都具有专业服装搭配师的技巧与经验,本文基于互联网上海量专业搭配师的服装穿搭数据运用深度学习技术学习高质量的穿搭知识,从而实现智能的服装搭配推荐。对于个人消费者来说,智能服装搭配推荐可以帮助节省穿搭耗费的时间精力,并帮助提高穿搭品味;对于服装电商平台来说,智能服装搭配推荐可以提高消费者的线上购物体验,从而提升竞争力;对于服装设计师和生产供应商来说,通过对不同地域和时间人们穿搭相容性的分析,可以帮助梳理影响不同时空穿搭的时尚因子,从而为设计生产并销售更受欢迎的服装产品提供参考。因此基于深度学习技术进行服装搭配推荐关键技术的研究具有重要的意义。服装搭配推荐根据用户提供的部分服装单品,向其推荐与已有单品功能互补且视觉相容的其他单品。功能互补和视觉相容是进行推荐的基本要素,本文从服装种类识别和服装穿搭相容性评价两个方面展开了研究。基于Restnet50残差结构设计了特征融合的服装种类识别网络,将多个卷积层提取的浅层特征与高层语义特征进行融合,通过全局平均池化生成分类特征,从而实现服装种类的识别,其种类识别准确度比原始的Res Net50分类网络提升了2.3个百分点。针对服装穿搭相容性评价,本文提出了基于Transformer的服装相容性评价网络FCET。FCET将单品图像的分块作为最小的特征输入单元,从而实现更细粒度的服装搭配相容性评价;此外,FCET利用多头自注意力机制捕捉特征向量之间的相关性,从而挖掘不同单品对整体相容性的影响,提升了相容性评价的准确性,在FITB任务中其准确度比基于Bi-LSTM的相容性评价网络提升了4.2个百分点。基于FCET的编码器输出向量序列和总体时尚因子,通过计算不同服装单品与整体相容性的风格距离实现了穿搭相容性诊断,从而增强了相容性评价的说服力。基于所提出的服装种类识别技术和穿搭相容性评价技术,本文实现了服装搭配推荐原型系统Deep Rec,并通过该系统对推荐相关功能进行了展示。Deep Rec可应用于时尚APP或服装电商平台,在帮助个人用户提供穿搭建议的同时进一步提升线上销售平台的竞争力。

基于自注意力机制的课程推荐算法研究

这是一篇关于线上学习,课程推荐系统,自注意力机制,侧信息,个性化的论文, 主要内容为随着信息科技的进步,人们获取知识的途径更加信息化,线上学习也逐渐成为了不可或缺的一种知识获取途径,帮助用户随时随地获取知识。然而,随着教育资源的不断增加,越来越多的课程可供用户选择,用户逐渐发现他们难以从海量的资料中找到合适的学习材料。课程推荐系统由于其过滤信息的高效性,可以帮助用户快速地找到适合自己的个性化资源,从而很好的缓解学习环境中存在的信息过载问题。因此,构建出一个高效的课程推荐系统,帮助用户快速找到用户可能感兴趣的课程,并根据其学习情况将资源推荐给他们,对提高用户的学习效率以及学习效果具有重要的实践意义。目前有关课程推荐系统的研究工作仍比较少,大多数现有的课程推荐研究都是直接搬运现有的推荐系统中流行的算法,忽略了课程学习环境中的许多重要特点,例如学生选择课程通常具有一定的先后顺序性,学习者通常根据自己的学习储备和兴趣选择学习的课程,忽略这些特点会导致推荐系统做出的推荐效果不是最优的。本文结合学习者对在线学习平台的实际需求,设计并提出一个基于自注意力机制的课程推荐算法。具体来说,本文在以下四个方面对课程推荐做了创新性研究:(1)提出新的分类框架,根据是否考虑用户选课记录的时间顺序,将现有的推荐研究分为通用推荐模型和序列推荐模型,并详细介绍了两种分类下的代表性研究工作,指出当前课程推荐系统研究忽略了用户选课顺序而导致推荐效果不是最优的。(2)提出一种基于自注意力机制的课程推荐算法模型,首次将自注意力机制应用于课程推荐上,利用自注意力机制建模用户的选课兴趣,并捕捉用户兴趣随时间的动态变化,实现对用户历史选课序列数据的特征提取。(3)传统课程推荐只考虑用户的选课记录,忽略了用户和课程自身的其他附属信息,这些侧信息对课程推荐系统是宝贵的,充分利用这些信息或许能提升推荐系统的准确率。因此本文提出添加课程的类型信息,验证侧信息的加入对推荐效果的影响。(4)进一步改进模型,设计用户短期偏好构建模块以捕获用户最近加入的课程对用户偏好的影响,加入用户表示并引入随机共享嵌入以增强用户的个性化表征。