基于深度表示学习的推荐技术研究
这是一篇关于推荐系统,表示学习,对抗学习,自动编码器,网络嵌入的论文, 主要内容为在大数据时代,人们很难从爆炸式增长的数据中找到有价值的信息。推荐系统应运而生,并在人们的生活中得到了广泛的应用。由于用户和项目是推荐系统中不可缺少的对象,因此如何表示用户和项目在推荐方法中起着重要的作用。通常,推荐方法使用用户历史行为数据来预测用户可能的偏好。如何利用这些稀疏的历史行为数据来表示用户和项目的潜在特征是一个高质量的推荐系统所需解决的重要问题之一。这一问题可以通过组合多种方法和整合多个数据源来解决。一方面,可以采用多种方法相结合的策略,从不同角度来表示用户和项目的特征,这在一定程度上可以减少稀疏数据对推荐质量的影响;另一方面,可以通过融合多个数据源的策略来丰富用户和项目的特征信息,从而提高推荐质量。基于以上两个方面,本文采用深度学习的表示学习方法来挖掘用户和项目的特征,继而实现推荐。主要工作如下:(1)本文提出了一种新的top-N推荐方法。该方法通过联合优化贝叶斯个性化排序(BPR)和少即是好协同过滤(CLi MF)中的损失函数来学习用户和项目的潜在特征。实验结果表明,将这两种方法结合起来学习用户和项目的潜在特征,可以增强用户成对偏好的结构多样性,从而提高推荐质量;(2)本文提出了一种融合用户社交信息的方法来学习用户和项目的特征。在该方法中,一个深度的端到端框架被用来同时完成信任网络嵌入任务和推荐任务的学习。这两个任务与一个交叉单元相关联,该交叉单元自动组合推荐系统和信任网络中用户的潜在特征。在两个真实数据集上的实验结果表明,该方法提高了评分预测任务的性能;(3)本文提出了一种融合用户评论和评分信息的推荐方法来学习用户和项目的特征。在这种方法中,自动编码器被用来提取用户和项目的潜在特征。自动编码器的参数则通过评分关系和评论关系之间的对抗学习来获得。在真实数据集上的实验表明,该方法提高了推荐系统中用户对项目的评分预测能力。
基于对抗蒸馏与自动机器学习的神经网络压缩研究
这是一篇关于神经网络压缩,滤波器剪枝,知识蒸馏,对抗学习,自动机器学习的论文, 主要内容为近年来,深度学习是机器学习领域最具有影响力的研究方向之一,在计算机视觉、推荐系统和自然语言处理等许多问题上都取得了令人瞩目的成功,其达到的效果在很多应用上已接近甚至超过人类。深度学习的本质是在海量的数据支撑下,由多层人工神经网络堆叠形成的信号处理系统,具有参数量大,计算复杂度高等特点。例如在图像识别中,为了追求更高的精度,模型结构被设计地越来越复杂,这使得深度卷积神经网络的运行需要大量的资源来做支撑。这极大地阻碍了深度神经网络在一些小型设备上的应用,例如手机和嵌入式设备。因此出现了神经网络压缩来解决这一问题。近年来,基于剪枝的压缩方法由于其原理直观和便于应用的优点,吸引了许多学者来研究。但目前的一些剪枝方法仍然存在一些问题。第一:目前多数的剪枝方法难以精准地识别冗余滤波器,导致模型在压缩后精度损失较多并且需要重训练,这就使得模型从压缩到实际应用的过程冗长且低效。第二:现有的剪枝方法在应用时大都使用了一个人为设定的、全局的剪枝比例。这种全局的剪枝比例并没有考虑到每层网络的敏感性不同,从而使最后得到的模型结构并不是最优的。为了解决剪枝方法存在的这两种问题,本文分别提出了一种基于对抗与知识蒸馏的滤波器剪枝方法和一种基于自动机器学习的滤波器剪枝方法。本文的研究内容总结如下:(1)基于对抗与知识蒸馏的滤波器剪枝方法:该方法提出了一种端到端的滤波器剪枝算法。首先是为每一层的滤波器一对一地引入缩放因子,利用缩放因子的大小来衡量滤波器的重要性。接着在训练过程中对缩放因子进行正则化惩罚,从而使得整个模型变得稀疏。为了避免模型在稀疏训练的过程中性能损失过多,该方法引入了知识蒸馏和对抗学习。知识蒸馏和对抗学习从两个不同的尺度来约束原模型,使其能够在稀疏的过程中尽可能地减少精度损失。最后,根据缩放因子的大小直接裁剪掉不重要的滤波器,即可得到一个无需重训练且紧凑的模型结构。(2)基于自动机器学习的滤波器剪枝方法:该方法提出了一种可以自动搜索剪枝比例的滤波器剪枝算法。首先设计了一个搜索模块,使其能够在一组离散的候选裁剪比例中搜索到最合适的剪枝比例。然后在卷积神经网络中每一个待剪枝的卷积层后面添加一个搜索模块,通过在训练过程中优化损失函数的方式来搜索到每一层最合适的剪枝比例。最后,根据搜索结果对模型进行逐层裁剪,即可得到一个紧凑的模型结构。
面向强化推荐的对抗迁移方法研究
这是一篇关于推荐系统,强化学习,迁移学习,对抗学习的论文, 主要内容为由于互联网企业需要打造产品完整生态形成流量闭环,越来越多的平台横向发展自身业务如“视频+电商”、“音乐+社交”等多领域平台。但是一方面新领域的推荐系统面临重新训练与部署面临着样本少、耗时长等问题,另一方面新领域推荐模型需要持续学习与进化。因此需要建立一种快速运用已有成熟领域推荐模型进行新领域推荐并不断学习新领域任务与用户兴趣的推荐机制。针对上述问题,设计面向强化推荐的对抗迁移方法。利用迁移学习实现成熟模型的跨领域初始化,利用强化学习实现模型的不断进化。迁移学习设计了编码器、解码器、判别器组成的网络结构,在限制特征转换程度的情况下尽可能找到共享特征空间。由此尽可能的保留了源域知识并充分发掘源域与目标域的共同特性。针对迁移学习中部分源域知识对目标域模型没有帮助的负迁移问题,引入判别门控机制从而控制迁移比例。设计并实现了迁移与强化结合的的整体框架,通过迁移学习提供聚类映射以指导强化学习模型初始化,随后由强化学习在目标领域跟随用户兴趣不断提升推荐质量。根据框架需要确定了向量化、聚类方法,设计了强化学习动作、奖励以及状态三大要素的具体内容。基于上述模型设计并实现了一个面向多领域推荐系统。系统可以对用户提供视频与电商跨领域的资讯服务以及相关内容的推荐,同时对研究人员提供算法可视化展示。利用爬取到的Youtube和Amazon数据集对算法进行测试,在性能指标上对比主流的域混淆算法能够有更高的推荐精度,Hit Rate上提升约5.6%,NDCG上提升约9.4%,F1上提升约1.06%。在算法效率上比不引入迁移学习能够提升16.2%。
深度学习应用于推荐系统的研究
这是一篇关于推荐系统,张量分解,神经网络,对抗学习,注意力机制的论文, 主要内容为近年来,随着信息网络的迅猛发展,时刻都会产生纷繁冗余的数据,用户面对海量数据,可能无法准确对有效信息进行选择。因此,推荐系统作为帮助用户获取精准高效信息的必要工具应运而生。传统推荐方法容易遭受数据稀疏性和冷启动等问题,并且难以应对用户偏好以及用户与项目之间的关系随着时间的推移而产生变化的问题。矩阵分解和张量分解在推荐系统中得到广泛的应用,但二者还存在不少局限性,第一,线性模型参数的较小随机扰动可能会导致较大的后向误差,缺乏对潜在因子之间的非线性进行表征建模的能力。第二,没有考虑到模型训练过程中容易受到模型参数的干扰,在泛化过程中可能存在较大误差。第三,缺乏捕获文档的关键上下文信息,与无用特征的交互可能会引入噪声并降低性能。针对上述问题,本文将深度学习与传统框架组合构建新的深层网络进行表示学习,有效缓解数据稀疏性。引入对抗扰动使模型拟合过程稳定,改善了鲁棒性及泛化能力。论文主要工作如下:1.针对基于深度学习的协同过滤算法未考虑到关联数据的多维交互随时间动态变化的问题,提出了一种融合时间交互学习和注意力长短时记忆网络的张量分解推荐模型(LSTM-Attention Neural Tensor Factorization,LA-NTF)。首先通过结合注意力机制的长短时记忆网络从项目文本信息中提取项目的潜在向量,进而使用融合注意力机制的长短时记忆网络来表征用户-项目关系数据在时间上的多维交互,最后将用户-项目-时间三维张量嵌入多层感知器中,学习不同潜在因子之间的非线性结构特征。在Movie Lens-1M和Netflix数据集上的大量实验表明,相比较于传统方法和最近流行的基于神经网络的矩阵分解模型,RMSE和MAE指标均有明显提升,说明LA-NTF模型可显著改善各种动态关系数据的评级预测任务。2.针对传统推荐算法采用浅层模型无法学习用户与项目之间的深层次特征,以及推荐模型极易受到其参数的对抗干扰的问题,本文在矩阵分解的基础上将对抗学习、注意力门控循环单元和注意力卷积神经网络相结合,提出了推荐模型(GRU-Attention-CNNAttention-Adversarial Matrix Factorization,GA-CA-AMF)。先采用结合注意力机制的门控循环单元从用户文本信息中提取用户的潜在因子;再使用融合注意力机制的卷积神经网络从项目文本信息中提取项目的潜在因子;最后,在用户和项目的潜在因子上引入对抗性扰动以量化矩阵模型在参数扰动下的损失,从而预测用户对项目的评级。在Movie Lens-1M和Movie Lens-10M数据集上进行实验,实验结果表明,本文模型增强了模型的鲁棒性从而提高了其泛化性能,同时缓解了数据稀疏性。
基于跨模态相关性分析与自适应排序学习的推荐系统研究
这是一篇关于推荐模型,可解释性矩阵,贝叶斯个性化排序,跨模态相关性分析,对抗学习,自适应排序学习的论文, 主要内容为推荐模型是一种有效的信息过滤机制,它根据用户需求从海量数据中找出有价值的内容,并以多种形式推荐给用户,它的出现满足了不同用户的个性化需求,给企业和社会带来巨大效益。但推荐系统目前处于不成熟阶段,仍然存在数据稀疏、低可解释性、未充分利用特征间的跨模态相关性等问题。为此,本文基于上述存在的问题展开研究。首先,在原始Movie Lens数据集基础上,通过爬取电影文本和海报信息构建新的多模态数据集Movie Lens-100k-MPT和Movie Lens-1M-MPT。其次,分别从可解释性矩阵、跨模态相关性分析、对抗学习及改进排序学习函数等角度展开研究。本文具体工作如下:(1)基于可解释性贝叶斯个性化排序的推荐模型(Explainable Bayesian Personalized Ranking,EBPR):首先,根据Movie Lens数据集中用户与项目的交互数据构建交互表,计算项目间的余弦相似性,进而获取相似性较高的前N个项目,再根据交互矩阵生成可解释性矩阵,可解释性矩阵表示用户与项目邻域的交互概率。然后,基于最大似然估计,在贝叶斯个性化排序基础上引入可解释性矩阵,增加用户与项目邻域的交互,进而实现推荐。实验结果表明:可解释性矩阵可以为用户挖掘更丰富的项目信息,进而更准确地描述用户偏好,它在一定程度上缓解了新项目加入的冷启动问题。相对于BPR模型,EBPE模型的推荐性能有显著提升,EBPR模型具有一定的可解释性。(2)基于跨模态相关性分析的推荐模型(Cross-modal Correlation Analysis Adversarial BPR,CCABPR):围绕多模态Movie Lens-100k-MPT和Movie Lens-1M-MPT数据集,基于BERT模型提取互补性文本特征;基于SENet模型提取异构图像特征;基于gradKCCA和CCCA相关性模型分别挖掘异构BERT文本特征间和SENet图像特征间的相关性;设计对抗学习策略,对训练过程进行优化,更好地完成推荐任务。实验结果表明:与NMF、VBPR等主流基线相比,CCABPR类模型取得显著优势,说明文本特征、图像特征、跨模态相关性和对抗学习在推荐中都发挥了重要作用。其中,CCCA模型优于gradKCCA模型,该模型挖掘出的跨模态相关性更具判别性。此外,模型在Movie Lens-1M-MPT数据集上获得更大的性能提升,它较好地缓解了数据稀疏问题,提升了推荐性能。(3)基于跨模态相关性分析与自适应排序学习的推荐模型(Cross-modal Correlation Analysis And Adaptive Pointwise-Pairwise Learning Adversarial BPR,AABPR):在CCABPR模型基础上提出AABPR模型,即改进BPR模型中的成对排序损失函数,使模型根据项目对的交互关系自适应地选择逐点、成对或两者任意组合的排序函数,最终完成高质量推荐。实验结果表明:AABPR模型优于CCABPR、DMF、APR等主流基线,即自适应排序学习优于逐点型和成对型排序学习算法,它在推荐中扮演重要角色,推荐模型具备一定实用性。
面向多模态的事件分析算法设计与应用
这是一篇关于多模态表征,深度学习,分类神经网络,对抗学习,对比学习的论文, 主要内容为社交媒体网络事件分析是社交平台的基础任务之一,识别出的事件类别等信息常应用于用户画像构建、个性化推荐、平台信息分类、知识图谱建设等推动平台发展、提升用户体验的工程中。由于在社交平台上充斥着各类用户发表的信息,社会事件的发生也具有随机性,使用人工或者传统规则的检测方式无法快速定位和分析。利用深度学习算法能够快速分析用户发表的信息和被广泛讨论的事件。本文致力于社交场景中面对多模态数据的事件分类关键技术研究。使用社交媒体中的真实数据,将事件分析任务落实到分类方法实现,构建多模态事件分类模型。同时,将成熟的深度学习模型优化方案应用在课题的分类模型中,提升课题模型性能。最终,本课题做到快速分析社交网络中多模态数据信息,掌握和分析发布在平台上的舆情信息。首先分析面向多模态事件分析任务处理的流程,根据处理流程,将面向多模态事件任务拆解为单模态数据分析和预处理,多模态联合表征网络和分类任务网络设计,以及从模型的损失函数、鲁棒性、泛化性等方面优化模型性能。本文数据集来源于从社交网络采集的图文数据,其中包含了冗余信息和无意义符号,以提升数据质量、统一数据形式为目标,对单模态数据设计预处理流程。图像数据采用基于Faster R-CNN网络的目标检测模型进行预处理,仅保留图片中包含语义信息的目标物表征序和其坐标信息。文本预处理主要基于文本困惑度模型设计清洗流程,提高文本质量。采用基于多模态的单/双流表征方式,对多模态任务基线模型进行设计和分析,在课题数据集上测算出两个基线模型的准召指标,选用F1-Score达到64%的单流结构作为调优阶段的基线模型。为了提升基线模型的性能,参考计算机视觉和自然语言两个单模态中的优化方案和分类任务的调优策略,针对课题数据集和模型制定优化方案。换用Focal Loss损失函数,优化课题数据集样本分布不均的问题,使得模型训练梯度能够更快更稳定的下降。基于对抗学习,对文本和图像的嵌入数据增添扰动,使模型在验证数据集上的精准率提升2%。将自然语言处理中对比学习的思路应用在提升多模态模型的泛化能力上,使模型的精准率提升2%。综合所有的优化方案,通过优化之后的模型F1-Score相较于基线模型提升11%,达到最终的75%,验证了优化策略的收益。
基于迁移学习的双创服务领域命名实体识别方法研究与实现
这是一篇关于迁移学习,双创服务领域,对抗学习,命名实体识别,多任务学习的论文, 主要内容为随着创新创业的蓬勃发展,双创服务领域的数据量不断攀升,面临着大规模多领域知识的获取、表示和检索的问题。知识图谱作为一种人工智能的关键通用技术,能够为大数据环境下双创服务领域提供技术支撑与驱动,而命名实体识别(Named Entity Recognition,NER)作为知识图谱构建的前置任务具有重要的研究意义。当前,通用领域的命名实体识别得益于充足的语料以及深度学习技术的推动,可以达到较好的识别效果,但是在双创服务这种特定领域,并没有大规模标注语料,难以通过深度NER方法,训练出准确率较高的命名实体识别模型。迁移学习作为一种解决训练数据与测试数据存在分布差异的泛化手段,可以用于不同领域但相同任务场景下的知识迁移,为领域命名实体识别提供了一种新的解决方案。本文围绕双创服务领域命名实体识别缺少语料的问题,选取投融资领域作为对象,研究了深度迁移学习方法在投融资领域命名实体识别的解决方法。分别实验了多任务迁移学习与对抗迁移学习方法来实现源领域到目标领域的知识迁移。主要工作如下:(1)针对投融资领域缺乏充足标注数据的情况,提出基于领域相似度的多任务迁移学习方法。源领域数据为已标注的人民日报新闻语料,目标领域数据为少量标注的投融资语料,在两个领域上进行命名实体识别联合训练。该方法使用硬共享与非对称共享两种模式扩充目标领域的通用文本特征与实体特征,在此基础上,为了筛选相似度较高的样本,在每次迭代时使用cosine距离衡量样本与目标领域的相似度,调整不同样本的学习率,使迁移的特征可利用价值更高。实验结果表明,此方法在实体识别准确率上比传统命名实体识别模型更有优势,且非对称共享的效果更佳。(2)针对多任务迁移学习方法特征迁移时带来的噪声问题,提出一种基于对抗学习的命名实体识别领域迁移方法。此时,领域特征包括私有特征和共享特征,引入minimax对抗学习机制,对领域之间的共享层特征进行了有效的约束与提纯,并加入梯度反转层实现判别器参数优化,在投融资领域数据集上的实验表明,该方法比多任务迁移学习方法有更好的表现,说明了对抗机制对于抑制噪声问题的有效性。(3)基于上述研究探索了投融资领域知识图谱的构建方法,将命名实体识别领域迁移模型集成到该系统中,提供实体抽取的服务。设计了基于规则的投融资领域关系抽取方法,在抽取的实体基础上,获得了投融资领域的小规模知识图谱。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码驿站 ，原文地址：https://bishedaima.com/lunwen/48527.html
