个性化推荐系统的算法研究
这是一篇关于个性化推荐系统,协同过滤,差异度,模糊聚类,用户簇偏好的论文, 主要内容为因特网的飞速发展,带领着我们进入了网络的时代。身处其中,我们既享受着丰富的信息资源带来的各种便利,同时也经常被海量数据所淹没,因为我们常常无法从这庞大的数据中找到自己真正需要的那些信息。在这样的背景下,个性化推荐系统适时出现,并且随着网络的发展不断地被应用于各个领域。个性化推荐系统能够根据个人的需要或者喜好做出个性化的推荐,而推荐质量的好坏,依靠的是各种各样的个性化推荐技术。这其中最具代表性的,就是协同过滤推荐技术。协同过滤推荐技术因为极好地满足了人们的需要而取得了巨大成功,但是同样也在发展的过程中面临着许多问题和挑战。数据稀疏性和可扩展性便是其中两个具有代表性同时也亟待解决的问题。本文在对协同过滤推荐技术深入研究的基础上,主要着眼于其中的一种具有代表性的算法——基于项目的协同过滤算法的研究和改进。对于数据稀疏的问题,通过差异度和时间函数的引入来改进相似度的计算方法,提高推荐质量;对于可扩展性的问题,则引入了模糊聚类和用户簇偏好的概念,通过减小最近邻居的寻找个数使得推荐系统的计算量降低。两种方法都用实验进行了检测,证实了前一种改进算法确实对数据稀疏的问题起到了很好的缓解作用,而后种改进算法则有效的减少了最近邻居的寻找个数并得出了模糊聚类取得良好效果的参数取值范围。现在,网络的发展仍是一种一往无前的气势在向前狂奔,我们会越来越依赖于个性化推荐系统对我们的帮助。因此,对以协同过滤推荐算法为代表的个性化推荐算法的研究和改进,不仅十分的迫切与紧要,也对网络的长久发展具有深远的意义。
基于改进乘积量化的图像检索方法及在安防场景下的应用
这是一篇关于图像检索,特征提取,注意力机制,乘积量化,模糊聚类的论文, 主要内容为近年来,计算机视觉技术飞速发展,图像检索作为其重要研究领域也受到广泛关注。随着光电设施和视频监控设备的普及,安防场景下的图像检索需求不断增加。安防监控网大多汇集多个监控探头,会产生规模较大的监控视频数据。解决在如此大量的视频数据中快速、精确的搜索到目标图像的问题,具有很大的实际应用价值。基于内容的图像检索技术是图像检索领域的主流算法,大致分为图像特征提取和向量检索两个步骤。目前效果较好的图像检索算法结合了基于深度神经网络的特征提取算法和基于乘积量化的向量检索算法。但上述算法在安防场景下的应用较为缺乏,并且在处理背景较为复杂的图像时,检索精度较低。为解决上述问题,本文完成了以下工作:(1)对监控视频进行预处理。安防场景下获取的原始数据大多是视频格式,若要进行图像检索,首先需要对视频格式的数据进行关键帧提取和保存。采用等时间间隔的方法进行抽帧,并把抽取出的图像按时间顺序分类保存。同时考虑到抽取的图像存在噪声等问题,采用灰度变换归一化算法、自适应直方图均衡化算法和均值滤波进行再次处理。(2)提出一种Res Net-50结合通道注意力机制的特征提取方法。在实际安防场景中,同一个监控拍摄的图像背景基本相同,且背景包含的元素很多,较为复杂。常用的特征提取算法聚焦于复杂背景特征的提取,而忽略了对目标物特征的提取,从而导致提取到的向量特征值差异过小,图像检索精度下降。针对上述问题,在Res Net-50网络中引入通道注意力机制,同时使用三元组损失函数进行训练,使算法更关注于图像中的目标对象。实验结果表明,在Market-1501数据集上,本文提出的Res Net-50结合注意力机制的特征提取网络将m AP值提升至85.3%,将Rank-2值提升至87.1%。相较于同样训练环境下的其他网络,图像检索的精度获得提升。(3)提出一种基于改进乘积量化的向量检索方法。乘积量化检索算法包含了原始向量空间的笛卡尔积分解、低维向量空间的量化和相似搜索三个步骤。原始乘积量化方法使用k-means聚类算法进行低维向量空间的量化,会受到初始点设置的影响,达到局部最优,造成量化误差。而且很多图像的特征都存在着中介性,k-means算法对于特征向量的聚类属于硬划分,会产生较大的分类误差。针对以上问题,采用模糊聚类的方法进行子向量空间的量化,避免了硬划分造成的量化误差,使分类更加客观。采用加权非对称距离计算的方式进行相似度计算,进一步减小了距离计算的误差,提高了图像检索的精度。通过实验验证了算法的优越性。实验结果表明,在Oxford5k数据集上,本文提出的FPQ算法检索精度为64.8%,较PQ算法提高了3%,较OPQ算法提高了2.4%,较IVFPQ算法提高了1.3%,且平均准确率和平均召回率也有一定的提升,表明FPQ算法性能优于原始乘积量化及其优化算法。(4)设计了一个安防场景下的图像检索系统。利用上述图像特征提取模型和向量检索模型,设计并实现了一个安防场景下的图像检索系统。用户输入待查询图像,可检索到安防视频数据库中和待查寻图片相似的所有图像以及相关信息,并返回给用户端,系统在实际应用中稳定可靠,具有较高的实际应用价值。
基于深度学习的玉米杂草识别与位置检测研究
这是一篇关于深度学习,杂草识别,模糊聚类,位置检测,卷积神经网络,语义分割的论文, 主要内容为当前化学药剂是玉米田草害主要的防治手段,传统的除草剂施用在种类选择上通常依据主观判断来进行,且在药物喷施时为了获得较高的杀伤效果往往采用无差别大面积喷施方法,这就带来了环境与作物安全隐患,过量时容易发生作物药物累积,使玉米减产,还会带来水、土污染问题;用量不足时无法彻底杀灭杂草,增加了药物使用成本,降低了除草效率。研究表明,通过杂草图像识别与位置检测对其进行精准喷洒除草剂能够极大的提高田间杂草防控效果,并且大大节约药物使用量。本文针对玉米田中的伴生杂草和玉米田间的环境特征,利用深度学习理论对玉米田中杂草进行了分类和定位研究,分别构建了基于显著性检测的改进CNN算法(Convolut ionalNeuralNetwork,CNN)识别模型和基于卷积神经网络(FullyConvolutional-Networ ks,FCN)语义分割的玉米及杂草位置检测模型。结合相关实验验证了两种模型在复杂玉米田杂草分布背景下,能够对田间伴生杂草种类及杂草位置进行较高精度的识别,为提升杂草整体防控效果提供基本技术支撑。主要的研究内容包括以下几个方面:(1)梳理了图像识别流程、图像预处理、构建数据库的相关理论。介绍了机器学习中经典算法支持向量机的优缺点并与深度学习进行了比较,结合大量文献资料及研究成果得出了深度学习理论在玉米田间杂草识别中应用的可行性。(2)给出一种基于改进CNN算法的玉米田杂草种类识别模型。首先借助几何变换、颜色变换的增强算法使网络模型能够学习到更多的目标图像特征,进而增强模型在多种复杂环境背景下的鲁棒性。给出一种利用SLIC结合局部模糊聚类分割算法,通过对图像进行预处理,生成超像素块,然后基于该超像素块利用吸收马尔科夫链将与其相关联的像素分离出来,构造显著性图像。最后,将该方法与其它几种常用的方法进行对比,结果表明,本文显著性检测算法用于杂草识别是可行和有效的。(3)利用基于深度学习的方法,对玉米和杂草等作物进行了语义分割,从而可以从不同的样本中抽取出相应的特征,能够达到对玉米和杂草苗期图像的语义分割。利用基于卷积神经网络模型进行了玉米、杂草和背景等田间自然场景的语义分割实验。在此基础上,对比了三种基于语义分割的模型:U-NET网络、SegNet网络和FCN网络。通过对玉米、杂草等不同像素进行分类,可以得到不同像素所对应的区域定位,更够有效的处理玉米田中杂草和玉米田遮挡严重区域的定位问题。
基于用户聚类的个性化推荐系统的研究
这是一篇关于个性化推荐,协同过滤,多样性,模糊聚类,人物特征属性的论文, 主要内容为进入21世纪,互联网技术快速崛起,特别是基于手机客户端的移动互联网的普及让人们能够更方便快捷地获取到网络上的各种信息,这也宣告了信息过载时代的来临。信息过载,使得网络上的信息生产者和消费者都受到了极大地挑战,信息消费者无法快速地找到自己感兴趣的信息,而信息生产者渴望自己生产的信息受到用户的青睐。个性化推荐系统的发展为这一矛盾的解决带来了曙光,对于信息消费者而言,推荐系统能够分析用户的历史行为信息,从而预测用户的兴趣偏好并进行主动地推荐。对于信息生产者而言,推荐系统能够分析信息的内容和特征从而精准的推荐到需要的用户面前。虽然,推荐系统能够很好的解决信息过载的问题,但随着互联网的发展以及应用的深化依然存在诸多的问题与挑战需要后来者去解决与完善。本文阐述了课题的研究背景及意义,总结了推荐系统目前的国内外现状,分析了个性化推荐算法的原理和优缺点。针对传统基于用户的协同过滤算法(collaborative filtering)在海量数据情况下存在推荐精度不高、多样性和新颖性不足等缺点,提出了一种基于用户模糊聚类并融合人口统计属性相似度改进的协同过滤算法。该算法在保证推荐准确度的基础上有效地提高了系统推荐列表的多样性和新颖性,更好地满足了用户的个性化需求和良好的用户体验。具体来说,本文的主要工作如下:(1)总结归纳了当前推荐系统应用的相关理论和技术,详细介绍了个性化推荐系统相关的数据集、实验方法和评价指标。深入分析了传统推荐方法的原理以及在推荐多样性上存在的缺点,针对性地提出了相应的优化方法;(2)针对传统基于用户的协同过滤方法推荐多样性和新颖性不足的缺点,本文提出了一种改进的算法。该算法首先根据用户的多兴趣特征对用户进行模糊聚类,根据归属程度的不同将用户聚类到多个簇中,在协同过滤阶段算法降低了活跃用户和热门项目在用户相似度计算时的权重,避免了推荐系统的马太效应,有效地提高了推荐的多样性;(3)本文根据算法的特点,在MoviLens数据集上进行了一系列实验,实验结果验证了本文算法的可行性和有效性,最后根据上述算法设计并实现了一个小型的推荐系统。
基于混合协同过滤的深度学习模型推荐系统研究与开发
这是一篇关于深度学习,混合推荐,模糊聚类,熵值法,评价指标的论文, 主要内容为随着信息技术日新月异,互联网、大数据和人工智能产业爆炸式增长,带动大数据处理和人工智能等相关技术的快速发展。近几年,深度学习技术在各领域应用不断深入,种类繁多的深度学习模型不断涌现并取得了卓越的成效。然而,深度学习模型并不具有普适性,同一深度学习模型在不同应用中成效往往大相径庭。因此,针对具体应用,如何选取性能最优的深度学习模型是一个亟需解决的问题。另一方面,由于应用领域的多样性和复杂性,缺乏标准的深度学习模型评价指标体系进行评价,无法实现深度学习模型推荐。针对这一现状,首先构建多指标深度学习模型评价体系,运用熵值法确定各评价指标权重,建立深度学习模型的多指标评价模型。其次,分析传统推荐算法的弊端,构建基于模糊聚类的混合协同过滤推荐模型。然后,进一步构建混合协同过滤的深度学习模型推荐模型,并将其应用于农业领域,针对番茄病害识别进行深度学习模型推荐,将所得推荐模型在PlantVillage数据集上进行验证。实验结果表明,推荐的最优深度学习模型性能最优。最后,设计和开发了面向农业的深度学习模型推荐系统。本文的主要工作和贡献如下:(1)深入研究推荐系统相关知识与平台开发相关技术,多角度分析深度学习模型的评价相关属性,重点研究了推荐系统相关知识,为深度学习模型评价模型、混合推荐算法的改进以及深度学习模型推荐系统的实现奠定理论基础。(2)针对深度学习模型评估指标体系难以确定问题,构建深度学习模型评价指标体系。运用熵值法确定各评价指标权重,建立深度学习模型的多指标评价模型(Multi-indexevaluation model,MEM)。利用KS算法设计实验,确定评价深度学习模型的阈值,获取优良深度学习模型集,实现对深度学习模型的初步筛选,为进一步的实现深度学习模型的最佳推荐奠定了基础。(3)提出一种基于模糊聚类的混合协同过滤推荐模型(Hybrid recommendation based on fuzzy clustering,F-HCF),在传统混合推荐算法中融入奇异值分解和模糊聚类算法。实验表明,改进后的模型比传统的混合推荐模型在效能上具有明显的改善,可有效的解决传统协同过滤的冷启动和稀疏性问题,并提高需求推荐的质量。(4)提出了基于MEM&F-HCF的深度学习模型推荐算法。利用用户的多种问题需求,对深度学习模型的应用功能进行特征提取,针对不同问题推荐出最优的深度学习模型解决方案。并将其应用到番茄病害识别中,将推荐的深度学习模型在PlantVillage数据集上进行验证。实验表明,该推荐算法可以有效的实现深度学习模型的推荐。最后,采用面向对象的软件工程方法,设计开发了面向农业的深度学习模型推荐系统。本文提出的深度学习模型推荐算法,实现了对深度学习模型的有效推荐。对后续深度学习模型评价以及性能参数优化起到指导作用,能更好的推进深度学习方法在农业领域的深入应用和推广。
基于矩阵填充的协同过滤推荐算法研究
这是一篇关于协同过滤,矩阵填充,模糊聚类,OptSpace算法,推荐算法的论文, 主要内容为互联网技术的飞速发展带来了一个全新的时代—大数据时代,人们随时随地都在产生和使用大量的数据。海量的数据资源给人们的生活带来了极大便利,但人们想要很快地找到自己需要的信息变得十分困难,这就是“信息过载”问题。在推荐系统中,协同过滤技术是解决信息过载问题十分有效的方法之一。因此,本文以协同过滤推荐算法为研究对象,对其在实际应用中存在的问题进行了研究分析,基于矩阵填充算法提出了新的改进算法。首先,针对原始数据的缺失率较高对推荐效果造成影响的问题,提出基于矩阵填充的协同过滤算法。考虑到用户—项目评分矩阵的稀疏性和低秩性,通过矩阵填充技术中的OptSpace算法对评分矩阵进行填充,然后根据填充后得到的新的评分矩阵,再用协同过滤算法进行推荐。其次,传统的协同过滤算法和基于矩阵填充的协同过滤算法根据相似度寻找最近邻居用户的搜索范围都是整个数据空间,计算量太大,耗费时间,算法的推荐效率不高。此外,k-means聚类方法对数据对象的划分是硬划分,不符合推荐系统的实际情况,聚类效果不稳定。本文提出了基于模糊聚类和矩阵填充的协同过滤算法,在对填充后的评分矩阵进行协同过滤推荐之前根据用户的信息先对用户进行聚类。该算法将最近邻居用户的搜索范围缩小到某个聚类,减少了相似度计算的计算量,提高了算法运行的效率。最后,为了验证所提算法的有效性,在MovieLens数据集上分次实验进行算法有效性验证。通过实验确定算法的相关参数,找到最优的聚类个数以及最近邻居的个数。然后,将基于模糊聚类和矩阵填充的协同过滤算法中的模糊聚类换成k-means聚类,然后对比两种算法的精确度,实验表明模糊聚类对数据对象的划分更加符合实际情况,聚类效果更好。再对几种协同过滤推荐按算法的运行时间进行了对比。数值实验结果表明:基于聚类方法的算法提高了运行的效率;在确定相关参数的情况下,对四种不同的协同过滤推荐算法进行对比试验,本文所提推荐算法在推荐效果方面优于其他对比算法。
模糊聚类算法基于Spark的实现与应用
这是一篇关于模糊聚类,Spark,协同过滤,推荐系统的论文, 主要内容为在数据规模呈现出指数增长趋势的今天,如何借助数据挖掘技术从海量数据中快速准确地抽取最精简、最有价值的信息,已经成为当前的研究热点。同时,如何利用数据挖掘技术来提高推荐系统的推荐准确度也成为了重要课题。本文重点对模糊聚类算法及其在协同过滤推荐中的应用进行研究。首先以提高模糊聚类算法的效率为目标,利用大数据处理平台Spark的特点进行了模糊聚类算法FCM的并行化方案设计与实现,该方案用HDFS对底层数据进行分布式存储,用RDD机制进行计算过程中的数据转换,用持久化技术实现中间结果的重用;在KDD CUP99数据集上的聚类实验结果验证了基于Spark平台的并行化FCM算法具有更好的聚类精度和时效性。然后,将并行化的FCM算法与基于用户的协同过滤推荐算法UserCF相结合,设计了融合FCM的UserCF算法,命名为FCM-UserCF算法,该算法首先使用FCM算法将所有用户聚类成几个局部用户群,使UserCF算法查找最近邻居的计算从全局变为局部;用Slope One算法填充用户-项目评分矩阵,以改善数据稀疏性和计算的实时性;用UserCF算法计算用户间的相似度和最近邻,产生预测评分和进行TOP-N推荐;在MovieLens数据集上的推荐实验结果验证了FCM-UserCF算法有效地解决了数据稀疏性问题,提高了推荐的准确度。最后,开发了一个简单的电子商城推荐原型系统,将FCM-UserCF算法应用于该系统的推荐模块。实验与应用结果都体现了本文所做工作的有效性和实用价值。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码货栈 ，原文地址：https://bishedaima.com/lunwen/46292.html
