移动网络中内容推荐服务关键技术研究

这是一篇关于移动网络,异质信息网络,内容推荐服务,会话推荐的论文, 主要内容为随着移动网络的飞速发展,人们每天有机会接触越来越多的多媒体应用。而大规模、爆炸式的信息,通常让用户陷入选择困难。内容推荐服务作为筛选数据的有力工具,目前已经在移动网络中得到了大规模应用。在移动网络这个相对复杂的网络环境下,如何根据异质的数据内容、序列化的用户-内容交互行为,为用户推荐最合适的相关信息成了推荐领域的研究热点。信息异质指的是信息的来源及种类丰富。由于异质信息网络可以有效包含网络结构信息和丰富的语义信息,一些工作已经将异质信息网络用于建模推荐系统中不同类型节点之间的关系。然而,现有的基于异质信息网络的推荐方法大多只关注于网络中的表示学习过程,却忽略了异质边的重要性学习。而且,大规模的网络表示学习算法目前尚难以应用到数据规模巨大、需要及时响应用户需求的移动网络中。除了信息异质化之外,移动网络下的内容推荐服务中还存在着大量随时间顺序产生的用户-物品之间的交互行为,即序列化交互数据。其中,会话就是序列化交互数据的典型代表,其在移动网络应用中广泛存在。会话推荐服务常常需要通过这些序列化的用户-物品交互行为来识别用户的意图,从而为其推荐相关的内容。然而,移动网络中用户的选择是灵活多变,通过有限的用户信息和用户不确定的行为去预测用户个性化的偏好是非常困难的。因此,针对移动网络中内容推荐服务存在的信息异质化与用户-物品交互行为序列化这两个重要特征,本文研究了基于异质信息网络的推荐算法与会话推荐算法。具体工作如下:(1)针对移动网络中内容的异质化特征,本文提出了一种基于异质信息网络的推荐算法,称为HIN-MRS。该算法考虑了用户的兴趣偏好以及相关内容的异质关系,能够为用户推荐准确度更高、可解释性更强的内容。首先本文利用获取到的内容相关文本挖掘用户的内容偏好。然后按照用户的偏好主题构建规模较小的异质信息网络,并在此基础上设计了一种可以自动学习网络中异质关系的图算法来产生推荐结果。最后基于真实数据集的实验结果验证了该算法的可解释性、准确性以及在解决冷启动问题上的有效性。(2)针对移动网络中用户-内容交互的序列化特性,本文提出了一个多方面感知的会话推荐算法,称为MASR。该算法较全面的考虑了用户交互行为的序列特征、物品特征、用户当前兴趣、用户的长期偏好等多方面的因素。并采用了自注意力机制捕获当前会话的序列信息变化规律,对匿名会话中用户的下一次行为的预测更精准。和以往只针对稀疏序列化数据的模型相比,MASR模型考虑了用户除点击以外更细粒度的行为。最后,基于真实数据集的实验结果表明,所提MASR推荐结果更准确训练速度更快。

基于异质信息网络的推荐算法研究及应用

这是一篇关于推荐系统,异质信息网络,表示学习,知识图谱,注意力机制的论文, 主要内容为随着互联网时代的到来,各种信息数据充斥在互联网平台上,纷繁的数据产生了“信息过载”的问题。推荐系统旨在帮助用户高效获取感兴趣内容而被提出,推荐系统在做节点间链路预测任务时,会存在数据挖掘不充分、数据稀疏以及推荐可解释性较弱的问题。本文针对以上问题,借助异质信息网络强大的数据分析挖掘能力,以及异质数据建模能力展开研究。在异质信息网络中可以通过元路径进行节点间高阶语义信息的研究,从而达到挖掘用户潜在信息的目的,进而对用户做出个性化推荐。异质信息网络可以将外部知识信息库在二部图中进行建模,通过在二部图中进行外部知识信息的融合更新处理,达到数据扩充的目的,进而缓解数据稀疏的问题。知识图谱作为一种特殊的异质信息网络,使用三元组的方式,将实体之间的语义信息进行充分的表达,通过实体语义信息的添入,使推荐的结果具可解释性。本文主要工作如下:(1)提出了一种注意力机制异质信息网络推荐算法模型(Heterogeneous Information Network Attention,HINA)。通过异质信息网络对数据进行建模,将用户商品数据进行局域信息与全域信息的区分,在局域信息中通过注意力机制进行节点邻居的信息聚合,在全域信息中基于元路径进行用户潜在偏好的信息挖掘,并使用自注意力机制对元路径信息进行聚合。通过局域与全域信息的融合,学习节点的特征表示,针对用户兴趣偏好进而做出个性化推荐。(2)提出一种融合外部知识库的异质信息网络推荐算法模型(Heterogeneous Information Network Knowledge Expansion,HINKE)。在异质信息网络二部图中对外部知识信息库进行建模,通过二部图中信息聚合更新获得数据扩充后的异质信息网络,并在更新后异质网络中进行向量节点的生成表示。通过注意力机制的引入,进行节点向量信息的聚合处理,最终在节点间展开链路预测任务。(3)提出一种基于反馈信息的知识图谱推荐算法模型(Feedback Information Knowledge Graph Recommendation,FKG)。在FKG算法模型中,通过对用户的反馈信息进行偏好分析,在用户交互历史中进行负样本的采样,并将正负样本进行配对。在知识图谱网络中使用注意力机制进行信息的聚合和高阶信息的传递,增强推荐结果的可解释性。(4)基于前文提出的异质信息网络推荐算法模型,设计并实现音乐推荐系统。通过系统的需求分析,明确系统所需功能模块,然后对系统的架构进行设计,并选择所需的技术方法。在前端设计用户的交互界面,设计并实现包括注册登录、歌曲播放界面、个性化推荐等页面。通过后端进行数据库的设计,实现数据存储,数据获取等功能。最后将前后端进行连接,启动系统运行,并进行系统测试。测试结果显示,系统各个功能均达到预期目标,系统能够正常运行。

基于用户偏好行为的电子商务平台推荐方法研究

这是一篇关于推荐系统,生成对抗网络,动态兴趣组,表示学习,异质信息网络的论文, 主要内容为随着社会的发展,人们对生活品质的追求迅猛提高。网络服务作为实体服务在线上的虚拟化扩展,给人们生活带来了巨大的便利。其中,电子商务作为网络服务的重要组成,越来越受到人民的追捧。然而,任何事物都是有利有害。在享受网络服务给生活水平带来提升的同时,也面临着海量信息带来的选择性问题。在此背景下,推荐系统作为辅助网民甄选优质内容的一个重要工具,给用户推荐有可能产生兴趣的项目,一直以来都是研究的热门领域。本论文总结近年来推荐系统的研究现状,主要从用户群体兴趣行为角度出发,通过对用户的历史行为数据分析,一方面研究基于用户兴趣组发现和数据增强推荐算法,另一方面研究基于表示学习和矩阵分解的推荐。主要研究内容如下:1.用户兴趣组标识和数据增强推荐算法,本文提出一种基于数据增强和动态用户兴趣分组的推荐模型。首先,通过引入生成对抗网络在学习数据分布、增强数据样本方面的优势,对原生数据进行同态增强,更真实的还原了用户和项目之间的偏好关系。其次,针对用户兴趣泛化问题,引入信息熵度量用户兴趣特征空间。同时,围绕用户兴趣漂移问题,使用时间窗标识方式进一步量化用户动态兴趣组。最后,为了解决融合用户兴趣组特征向量,构建“用户-项目-兴趣组”张量分解模型,并在分解的过程中计算缺失值,更加合理的预测用户评分。2.基于表示学习和矩阵分解的推荐算法。在异质信息网络中存在着大量的辅助信息,这些信息对数据分析任务有着很大的作用。首先,如何从网络中提取有效的信息,本文引入元路径的概念,使用了基于元路径的随机游走策略,能更好的提取出用于网络表示的节点序列。然后,考虑到在不同元路径下,每个节点向量的表示都是不一样的,又考虑到矩阵分解的易扩展性,设计了一组函数将表示后的节点映射到矩阵分解模型中。最后,本文通过矩阵分解预测用户对项目的评分。本文通过五组公开数据集对提出的方法进行实验分析。实验表明,本文所提出的模型改善了用户无行为偏好和数据稀疏性导致的推荐精度不足问题。

面向异质信息网络的图预训练模型研究

这是一篇关于异质信息网络,预训练,自监督学习,图神经网络的论文, 主要内容为图结构数据广泛存在于现实生活场景中,例如推荐系统中的交互图和药物发现中的分子图,对图数据的研究在过去几年得到了很好的研究。作为近些年图结构数据中的典型代表方法,图神经网络以消息传递和聚合机制被广泛用于图结构结构上的信息获取并用于各种下游任务。然而,当图上的带标签的数据不足时,图神经网络通常没有办法取得很好的节点信息聚合结果。目前获取异质信息网络上的标签信息的代价是十分昂贵且往往标签质量一般。为了缓解标签信息不足的问题,目前一部分方法受到计算机视觉和自然语言处理领域的影响,为图神经网络设计了一些预训练策略,从网络结构中的无监督信息学到图中可转移的通用结构属性。然而,当前的方法都集中在同质图中,没有考虑到现实生活中的网络节点与连边的异质性,例如,电商网络中的商家和用户在网络中的地位不同。相比之下,异质信息网络具有更加丰富的语义信息,因为多种类型的节点和边通过不同类型的节点和连边进行交互,而现有策略忽略了这些边。在本文中,本文提出了一种新的基于异质信息网络的图神经网络预训练策略(CPT-HG),以自监督学习的方法来捕获异质信息网络的语义和结构属性。具体来说,本文在关系和子图两个层面上设计语义感知任务,并通过对比学习进一步增强模型学到的节点表达能力。本文在三个真实世界的异质信息网络上进行了大量实验,结果证明了CPT-HG通过预训练将知识转移到各种下游任务的能力。同时现实中的异质信息网络数据往往是庞大规模的图结构数据,例如电商网络绝大多数都是亿级别的异质结构数据。为了在这类网络进行预训练并保持异质性,提出了节点级别和网络模式级别的预训练任务(PT-HGNN)。在节点对中巧妙地保留异质信息网络中的语义信息且采样向量空间的过滤机制来提供高效样本筛选机制。在高阶结构中,采用网络模式这一异质信息网络中独一无二的结构来进行高效的采样从而高效的预训练。为了对大规模异质信息网络进行预训练,本文提出了一种基于关系的个性化PageRank的边稀疏化策略,在加速预训练过程的同时保留有意义的图结构。在一个最大的公共异质信息网络(OAG)上进行的实验表明,本文提出的PT-HGNN显著优于各种最先进的相关方法。

基于图神经网络的自监督异质信息网络表征学习研究

这是一篇关于图神经网络,异质信息网络,自监督学习,信息瓶颈理论的论文, 主要内容为作为对现实世界建模的一种重要工具,图结构数据广泛存在。而对于图结构数据的表征学习受到了很多领域的广泛关注。然而,无论是传统的基于矩阵分解的图算法还是基于深度学习的图神经网络,通常将关注点都集中在同质网络,即只含有一种类型节点和一种类型连接的网络。然而在真实场景中,互联的节点通常属于多种类型,且连接关系也因所连节点类型的不同而不同,这就是所谓的异构信息网络。相比于同质信息网络,异质信息网络蕴含更加丰富的信息。对异质信息网络的研究成为网络科学和数据挖掘领域中重要的分支,且成果被广泛用于推荐系统等实际问题中。图神经网络作为利用深度学习的强大的表示能力处理非规整图数据的有效工具具有坚实的理论基础和卓越的性能。通常,图神经网络在同质信息网络上的半监督节点分类任务中表现突出。一方面,如何无监督地训练图神经网络是该领域的重要研究课题。另一方面,如何将图神经网络扩展到高效处理异质信息网络也是提升图神经网络实际应用价值的重要问题。基于此,本学位论文主要研究无监督条件下利用图神经网络对异质信息网络进行表征学习,主要分为以下两个方面:首先、从理论层面提出元路径之间的共识性假设。近年来涌现出的大量基于深度学习的异质信息网络算法,通过假设不同的元路径所诱导的同质信息网络之间是互补关系,将图神经网络算法从同质信息网络拓展到异质信息网络。然而,这个普遍被接受的假设是值得商榷的。一方面,这些诱导得到的同质信息网络之间共享节点本身的所有属性。另一方,图神经网络的本质是对网络中节点属性进行传播和平滑。因此,不同的元路径代表了不同的属性传播路径。从而,基于互补性假设将不同元路径所得到的节点表征组合起来,实际等价于让异质信息网络退化为同质网络进行处理。基于此,本文提出了共识性假设,即节点在多个同质信息网络所共享的属性才是最为本质的,而在每个同质网络所特有的信息则较大概率是噪音。其次,在模型层面提出异质图信息瓶颈算法。本文利用自监督学习策略,将监督学习领域的信息瓶颈理论拓展到异质图表征学习问题中,提出了基于图神经网络的自监督异质信息网络表示学习算法SSH-GNN。具体地,SSH-GNN同时最大化两个同质信息网络所学得的节点表征之间的互信息,并且同时分别最小化两个同质信息网络中所特有的信息及其所学的节点表征之间的互信息。实验部分将SSH-GNN应用于现实应用的网络数据中,在以F1分数为标准衡量节点分类任务的结果,以ARI和NMI为标准衡量节点聚类任务的结果。通过大量的实验在各方面证明,SSH-GNN在节点分类与节点聚类任务方面显著优于当前主流的基于互补性假设的大多数半监督网络表征学习方法。总之,本学位论文在理论层面提出的共识性假设及在模型层面基于共识性假设设计的异质图信息瓶颈算法有效的解决了无监督条件下利用图神经网络对异质信息网络进行表征学习问题。

基于异质图神经网络的社交推荐方法研究

这是一篇关于推荐系统,异质信息网络,图神经网络,社交关系,注意力机制的论文, 主要内容为作为已经应用十分成熟的信息过滤技术,推荐系统在多种应用中都扮演了缓解信息超载问题的关键角色。一方面,推荐系统中利用的输入数据往往都是具有复杂异质关系的图结构;另一方面,深度图学习技术研究不断受到学界关注并取得了大幅发展。因此,近年来许多推荐系统方向研究已经转向使用异质图神经网络作为主要的数据建模手段。已有的基于异质图神经网络的推荐系统主要考虑了项目属性的异质关系,而忽略了对用户而言更重要的社交关系。此外,建模异质性时这些方法往往也没有细粒度的捕获异质性关系,甚至将异质图直接视作同质图,这都将影响推荐的有效性。为此,本文从两个主要角度研究基于异质图神经网络的社交推荐,一是结合社交和交互两类节点间直接关系的元关系角度,二是从具有富潜在语义信息的元路径角度,并取得了如下进展:1、基于两级注意力的异质网络社交推荐方法。考虑到用户具有社交朋友和交互项目两类不同的异质元关系邻居,提出了两级注意力的异质网络社交推荐模型,包含邻居级和元关系级的层次注意力机制。邻居级注意力聚合目标节点的不同类邻居,元关系级注意力的目的是学习两类不同元关系的语义贡献度,通过层次级的注意力机制,模型可以自适应的学习不同邻居和关系的重要性以生成最终的高质量嵌入,提高推荐算法的性能。2、基于元路径交互的异质图社交推荐方法。为了细粒度捕获元路径内部节点间的关系,提出了基于元路径交互的异质图社交推荐方法。具体来说,该网络首先执行预训练模块得到用户和项目的初始表示,然后根据预训练得到的表示相似度挖掘潜在的隐式关系。接着,通过一个包含相似度编码器和元路径编码器的两路编码模块更新用户和项目表示,两个编码器分别捕捉通过不同元路径连接的节点之间的协作信号和在细粒度级别捕获元路径实例中连续节点之间的序列依赖关系。最后,将两个编码器的输出表示连接为最终节点在元路径上的表示,并通过注意力融合层进一步聚合不同元路径上节点的表示,得到最终的嵌入。最后,在多个真实世界推荐数据集上进行的大量实验表明了本文所提出的两种方法在性能上优于文中比较的推荐方法基线,验证了模型的有效性和合理性。

基于异质信息网络表示学习的推荐算法研究

这是一篇关于异质信息网络,网络表示学习,推荐算法,深度学习,多样化推荐的论文, 主要内容为随着网络技术的快速发展和网络信息规模的爆炸式增长,推荐系统可以被看作成一种高质量的信息过滤器,用来将用户和资源相匹配,大部分的网络平台或社交媒体都拥有着特有的个性化推荐系统。最新的推荐系统利用了多种多样的辅助数据,可以缓解传统推荐算法存在的数据稀疏和冷启动问题并提高推荐性能,但这类数据常伴有大量不利于推荐的噪声数据。同时,在推荐系统中对这些异质的数据信息和它们之间复杂的关系信息进行建模和利用是非常困难的。在此基础上,大量的推荐研究始终将推荐算法准确性的提升作为主要目标,推荐目标单一。因此,现有的推荐算法面临存在大量噪声数据阻碍推荐、建模用户偏好的精准度不足、推荐目标缺乏多样化等问题。面对这些问题,本文基于异质信息网络(HIN)表示学习推荐算法,首先提出异质社交影响协同去噪注意神经网络(HSCD),致力于提升推荐算法的准确性。同时,本文还提出了一个异质图卷积协同过滤对抗(GCAD)的多样化推荐算法模型,致力于提升推荐算法的多样化。(1)本文的研究一提出了一种异质社交影响协同去噪注意神经网络(HSCD)解决方案。为了充分利用HIN中低阶和高阶结构的语义信息,HSCD模型通过特征聚合函数学习用户和项目嵌入表示,并利用双重注意力机制整合并捕捉了不同类型的社交影响力。同时,研究一采用了自适应去噪训练策略,在训练过程中自适应地识别和修剪噪声干扰,以提高推荐的效率。在真实数据集上的实验表明,研究一提出的HSCD模型的性能较之其他方法具有显著优势。(2)本文的研究二对比分析了现有的和最新的多样化算法。针对存在的问题,提出了一个异质图卷积协同过滤对抗(GCAD)的多样化推荐算法模型。在本研究的工作中,主要目标是基于推荐模型准确性相对稳定的情况下,有效提升推荐项目的类别多样化。首先,使用图卷积模块对HIN中的边分解,采用异质图卷积协同过滤方法,对用户偏好的潜在影响成分进行建模、分解、组合等过程,更深层次地挖掘用户偏好,有效保证了模型的准确性及可解释性。其次,GCAD模型采用了类别增强的负采样策略和对抗学习模块,可以提高那些相关但为消极项目的采样概率并学习嵌入空间中的隐式类别偏好,以提供更多样化的推荐结果。最后,通过利用三个真实数据集进行多组实验,证明了本研究提出的GCAD模型的有效性。

数据驱动的可扩展在线教育平台的设计与实现

这是一篇关于在线教育,学习行为数据,数据采集,异质信息网络,个性化推荐的论文, 主要内容为近年来,在线教育的热度日益上升,越来越多的学习者选择通过在线教育平台来随时随地地学习自己需要的知识,同时越来越多的教师也倾向于选择线上线下相结合的方式来进行教学活动。市面上的在线教育平台虽层出不穷,但也存在诸多问题:平台定位不明确,生硬照搬线下的学习资源到线上,而真正对学习者有用的信息少之又少;平台业务功能冗余,且可扩展性较差,在线学习体验不佳;只关注业务而忽略数据,对于用户在在线教育平台上累积的大量有价值的学习行为数据,没有采集和充分利用;在线学习资源过多,学习者往往需要花费大量时间和精力来寻找自己需要的在线学习资源,学习效率不高,学习效果不佳。针对上述问题,本文的主要工作和贡献如下:·提出了一套可扩展在线教育平台的设计与实现方法。首先明确本文的研究对象是面向计算机学科的全链路可扩展在线教育平台,然后分析了此类在线教育平台的核心功能性需求与非功能性需求,最后说明了这些核心需求与关键问题的实现与解决方法。对于在线教育平台而言,其可扩展性可以分为以下两个方面来理解:第一,业务系统的可扩展性。这方面的可扩展性主要依赖于单系统微服务架构和多子系统单点登录的实现,以及各子系统业务以在线学习资源的形式构成一门课程有机整体的设计理念;第二,物理资源的可扩展性。这方面的可扩展性主要依赖于应用的完全容器化部署与Kubernetes集群的弹性伸缩机制。·提出了一套优化的在线学习行为数据采集与存储方法。与传统在线教育平台只关注业务而忽略数据不同,本文提出了一套优化的基于xAPI技术的学习行为数据采集与存储方法。相对于传统的xAPI数据采集方法,本文在数据采集层与数据存储层之间创新性地增加了数据服务层,并说明了这套优化的数据采集与存储方法的设计与实现细节。数据服务层提升了数据采集的稳定性与高可用性,实验证明这套优化的学习行为数据采集与存储方法在高并发场景下依然能保持较高的可用性与较低的接口时延,综合表现优于传统的xAPI数据采集与存储方法。·提出了一种数据驱动的高效在线学习资源推荐方法。基于采集与存储的学习行为数据,尤其是学生与在线学习资源的交互数据,本文构建了关于学生-在线学习资源-教师的异质信息网络,并创新性地提出了一种高效的邻域交互增强的在线学习资源推荐方法——NIRec-for-ELR,用以提升学习者的学习效率与体验。通过实验论证了该方法能有效表征异质信息网络中的邻域交互信息,且性能表现优于众多现有方法。另外,本文以华东师范大学数据科学与工程学院自研的在线教育平台——“水杉在线”为实际应用场景,验证了上述可扩展在线教育平台设计与实现方法的可行性,而优化的在线学习行为数据采集与存储方法具有一定的创新性和通用性,在线学习资源推荐方法NIRec-for-ELR性能优秀并可以有效帮助学习者提升学习效率与体验。

基于异质信息网络表示学习的推荐算法研究

这是一篇关于异质信息网络,网络表示学习,推荐算法,深度学习,多样化推荐的论文, 主要内容为随着网络技术的快速发展和网络信息规模的爆炸式增长,推荐系统可以被看作成一种高质量的信息过滤器,用来将用户和资源相匹配,大部分的网络平台或社交媒体都拥有着特有的个性化推荐系统。最新的推荐系统利用了多种多样的辅助数据,可以缓解传统推荐算法存在的数据稀疏和冷启动问题并提高推荐性能,但这类数据常伴有大量不利于推荐的噪声数据。同时,在推荐系统中对这些异质的数据信息和它们之间复杂的关系信息进行建模和利用是非常困难的。在此基础上,大量的推荐研究始终将推荐算法准确性的提升作为主要目标,推荐目标单一。因此,现有的推荐算法面临存在大量噪声数据阻碍推荐、建模用户偏好的精准度不足、推荐目标缺乏多样化等问题。面对这些问题,本文基于异质信息网络(HIN)表示学习推荐算法,首先提出异质社交影响协同去噪注意神经网络(HSCD),致力于提升推荐算法的准确性。同时,本文还提出了一个异质图卷积协同过滤对抗(GCAD)的多样化推荐算法模型,致力于提升推荐算法的多样化。(1)本文的研究一提出了一种异质社交影响协同去噪注意神经网络(HSCD)解决方案。为了充分利用HIN中低阶和高阶结构的语义信息,HSCD模型通过特征聚合函数学习用户和项目嵌入表示,并利用双重注意力机制整合并捕捉了不同类型的社交影响力。同时,研究一采用了自适应去噪训练策略,在训练过程中自适应地识别和修剪噪声干扰,以提高推荐的效率。在真实数据集上的实验表明,研究一提出的HSCD模型的性能较之其他方法具有显著优势。(2)本文的研究二对比分析了现有的和最新的多样化算法。针对存在的问题,提出了一个异质图卷积协同过滤对抗(GCAD)的多样化推荐算法模型。在本研究的工作中,主要目标是基于推荐模型准确性相对稳定的情况下,有效提升推荐项目的类别多样化。首先,使用图卷积模块对HIN中的边分解,采用异质图卷积协同过滤方法,对用户偏好的潜在影响成分进行建模、分解、组合等过程,更深层次地挖掘用户偏好,有效保证了模型的准确性及可解释性。其次,GCAD模型采用了类别增强的负采样策略和对抗学习模块,可以提高那些相关但为消极项目的采样概率并学习嵌入空间中的隐式类别偏好,以提供更多样化的推荐结果。最后,通过利用三个真实数据集进行多组实验,证明了本研究提出的GCAD模型的有效性。