面向协同过滤推荐系统的鲁棒推荐方法研究

这是一篇关于协同过滤,鲁棒推荐,托攻击,矩阵分解,层次聚类,随机森林,粒子群优化的论文, 主要内容为协同过滤推荐作为电子商务领域应用最广泛的技术之一,是解决“信息超载”的重要技术手段。但是,面对托攻击时,现有的协同过滤推荐算法的鲁棒性不高,系统的推荐过程容易受到干扰,严重影响了系统的推荐结果。针对这一问题,本文基于基本矩阵分解技术,从攻击检测角度出发,运用有监督和无监督的机器学习算法,在努力提升推荐精度的前提下设计鲁棒性高的协同过滤推荐算法。首先,提出一种基于粒子群优化的矩阵分解推荐算法。在基本矩阵分解方法的基础上,为了提高项目特征矩阵和用户特征矩阵的鲁棒估计性能,采用粒子群优化技术,基于用户评分数据,对用户、项目特征矩阵进行初始化,得到用户、项目特征矩阵初始最优解,以此来提高系统的推荐精度,在Movie Lens数据集上与现有的算法进行对比分析,从推荐精度方面验证了所提算法的有效性。然后,提出一种融合层次聚类和MFRA＿PSO的鲁棒推荐算法。基于用户评分数据,挖掘真实用户与攻击用户之间存在的个体差异性,结合层次聚类算法设计攻击概貌检测算法,将用户概貌聚为两类。提出平均类内距离的定义,识别攻击概貌所在类并进行标记。将识别结果与基于粒子群优化的矩阵分解推荐算法相融合,设计鲁棒推荐算法,并在Movie Lens数据集上与现有的算法进行对比分析,从鲁棒性和推荐精度两个方面验证了所提算法的有效性。最后,提出一种融合随机森林和目标项目识别的鲁棒推荐算法。基于用户评分数据,给出项目流行度的定义,并结合卡方统计提取能够区分正常用户与攻击用户的有效特征。基于提取的特征训练随机森林分类器对攻击概貌进行第一阶段检测,接下来通过识别目标项目对含有攻击概貌的类别进一步检测,实现攻击概貌的第二阶段检测;基于攻击概貌检测结果和基于粒子群优化的矩阵分解推荐算法,设计鲁棒推荐算法,并在MovieLens数据集上与现有的算法进行对比分析,验证了所提算法的有效性。

基于网络结构特征的大规模虚假评论群组识别

这是一篇关于电子商务,虚假评论群组,评论网络结构,网络行为得分,层次聚类的论文, 主要内容为随着Web 2.0与电子商务行业的迅速发展,用户在线评论在电子商务中发挥着至关重要的作用,其中所有评论者都能够自动生成信息,这类信息即为电子商务中产品的评论信息。在现实世界中存在大量评论信息,同时规模还在不断扩大。事实上,购物评论对消费决策的影响其来久矣,只是网络购物将其显性化而已。随着互联网兴起与电商行业的迅速发展,许多商家意识到网络评论的重要性,借助其开放性与匿名性的优势,雇佣网络水军发表虚假评论以达到操控商品评论信息的目的。基于这种水军团伙作案的背景,本文对虚假评论群组识别进行相关研究。通过梳理已有的研究发现,目前虚假评论的识别方法主要依据评论内容的文本特征和评论者的行为特征,而评论内容与评论者行为又容易伪造与模仿,行为特征还存在冷启动问题,且这两类方法只能对虚假评论逐个识别。为了克服以上弱点,本文考虑分析虚假评论的网络结构特征,通过分析评论者的网络行为及评论者节点间的网络结构特征定义相邻节点多样性与自相似性两项指标,利用累积分布函数估算其概率并合成网络行为得分,以得分高的可疑产品为种子建立2-hop子图,筛选子图中高度相似的虚假评论候选群组后,利用GroupStrainer算法对其进行聚类合并,以发现隐藏的虚假评论群组。利用亚马逊四类最畅销的产品数据集(图书音像类、手机数码类、美妆个护类和家居生活类)进行实证分析的结果表明,文中提出的方法能够有效识别隐藏较深的大规模虚假评论群组,综合群组内容的统计分析发现,虚假评论群组对目标产品的攻击模式存在产品类别差异,虚假评论群组比真实评论者对目标产品具有更强的集中度,但同时也会利用其它非目标产品对自身进行伪装以弱化其可疑性。将算法得出的虚假评论与真实评论对比,虚假评论的同质性非常明显,评论日期更加紧凑,评论者集中度较高,但是虚假评论的评论等级并不高于真实评论,说明虚假评论群组的作业方式并非简单直接刷高评论等级,而是更倾向于通过文本好评来吸引消费者。全文主要包括以下几方面工作:(1)为充分了解用户在线评论与虚假评论的属性及特点,本文在核心实证部分之前对其进行详细论述,理论分析了网络结构特征的基本属性,明确大规模虚假评论群组识别的理论前提,深入研究了虚假评论的来源以及在电商平台中的形成过程,阐述了相应的消费者防御理论并详细探讨了存在虚假评论时网购消费者的决策过程,以用户在线评论与虚假评论为对象构建相应的理论框架,为下一步识别研究提供有力的理论支持。(2)为大量提高识别方法的准确性,本文在核心实证部分采用两步探测法创建群组识别模型,即先筛选可疑目标产品所对应的高度相似的虚假评论者,再对剩余评论者聚类合并至对应的群组中,从而挖掘潜藏较深的虚假评论群组。从可疑产品背后的虚假评论者出发,避开电商数据的量级大且结构复杂的特性,直接检测虚假评论群组的可疑行为会有效减少识别的时长与复杂度。(3)为充分体现商品的可疑性并具体量化其可疑行为,本文在核心实证部分的第一步引入相邻节点多样性与自相似性两项得分指标,采用累积分布函数估计其概率的方法将其整合为一个综合得分指标——网络行为得分。为了避免产品类别的特殊性对实验结果产生影响,本文提取销量前四的亚马逊产品数据并进行数据清洗,将网络行为得分应用于该部分数据且定位出可疑目标产品,进而挖掘其背后的所有评论用户。(4)将可疑目标产品采用2-hop子图的方式诱导出虚假评论者评论的所有可疑产品,并存储于邻接矩阵中,利用层次聚类算法再将邻接矩阵中的评论者类合并至对应的群组中,存在两步关键操作,一是合并过程中并非直接对整个邻接矩阵中的评论者类进行合并,而是根据阈值的调整与迭代次数的设置筛选出潜藏较深的虚假评论者进行合并,二是在合并过程中结合局部敏感哈希算法进行聚类合并能够大幅度提升合并效率。(5)为有效验证本文提出的两步探测法具有良好的识别效果,结合应用数据驱动的无监督学习方法,首次提出虚假评论者共谋得分、虚假评论者共谋均分以及评论集中度的测量指标,该指标直接量化虚假评论群组的可疑评论行为,并将虚假评论与真实评论数据从统计特征与结构特征进行多角度对比;同时将其他聚类算法与本文聚类算法的实验结果进行对比来验证本文算法的稳健性。本文的不足之处有:一是针对性强度不够。针对不同电商平台和点评网站的特性和差异之处,结合识别方法的更迭进化,需再次修改和完善识别方案,更准确地识别在线评论的真伪性;二是识别研究的全面性不够广。倘若充分利用评论样本的文本特征,并将其与评论行为和网络结构相结合,从多角度出发,不仅在用户与产品之间的评论行为上构建网络结构,更能从文本特征上找出识别虚假评论群组的线索。

基于EEG信号的轻度抑郁症异常脑拓扑结构研究

这是一篇关于脑电,轻度抑郁症,功能连接,图论,层次聚类,多示例学习的论文, 主要内容为随着计算机与生物信息技术的不断发展,许多研究都试图使用计算机对精神疾病进行辅助诊断,尤其是脑电(Electroencephalogram,EEG)由于其无创伤性、相对低成本、便捷性等优点,被广泛用于抑郁症的识别。然而,目前大多数EEG的抑郁症检测工作都是基于监督学习方法,监督学习需要在训练期间使用特定的标签来识别EEG中的每个示例。通常情况下,基于抑郁症检测的二分类监督学习模型要求在模型初始化前确定所选EEG频段数据以及对其进行标签化处理。然而,由于不同频段的EEG数据包含着许多生理和疾病信息以及动态变化,研究者们很难挑选出能够反映出抑郁程度的频段数据。更重要的是,在目前的方法中,模型的最终预测是通过对被试的所有示例进行平均而得到的分数。然而,深度学习的稳健拟合能力可能会导致没有表现出显著症状的示例对模型性能产生负面影响,从而影响结果。因此,为了解决上述问题,本文首先探讨了轻度抑郁症的异常脑拓扑结构,然后基于研究结果构建出一种针对轻度抑郁症进行辅助诊断的深度神经网络模型。主要工作和创新如下:1.针对轻度抑郁人群功能脑网络研究,本文采用最新的脑功能网络分析方法和层次聚类算法,首次根据视觉搜索范式中的脑电数据系统探索了轻度抑郁症患者的异常脑拓扑结构。行为结果显示,轻度抑郁症组的反应时间明显长于正常对照组。脑功能网络结果表明,两组之间的功能连接存在明显差异,半球间的长距离连接量远大于半球内的短距离连接。尤其在beta频段,轻度抑郁症患者的局部效率(Local Efficiency,LE)和聚类系数(Clustering Coefficient,CC)明显降低,额叶和顶枕叶的聚类结构遭到了破坏,额叶出现大脑不对称情况。此外,左额叶和右顶枕叶之间的长距离连接的功能连接平均值与抑郁症状呈明显的相关性。我们的结果表明,轻度抑郁症患者通过牺牲额叶和顶枕叶区域内的连接来实现两个区域之间的长距离连接,这可能为抑郁症的异常认知处理机制提供了见解。2.针对轻度抑郁症异常脑拓扑结构的多示例学习辅助诊断模型研究,本文基于多示例学习(Multiple Instance Learning,MIL)提出了一个名为CAMMIL(MIL Framework Combining Attention and Max-pooling,CAMMIL)的模型框架,它在示例层层面上使用最大池化层进行捕捉抑郁症状信息,并且在包层层面上使用注意力权重进一步整合每个示例的贡献。此外,本文还提出了一个脑区特征注意力融合CNN模块BRFAFNet(Brain Region Features Attention Fused CNN Net),该网络能够有效地使全脑特征嵌入到每个脑区中。本文的提出的方法达到了85%的准确率(Accuracy,ACC)和84.1%的ROC曲线下面积(Area under ROC Curve,AUC),与目前基于EEG信号的抑郁症检测先进方法相比,准确率最高提升了13.1%。此外本文还对轻度抑郁症识别中的频段选择问题进行了分析,结果发现轻度抑郁患者在beta频段的频段选择上有统计学上的差异。这可能为轻度抑郁症的研究和检测提供新的见解。上述研究表明,轻度抑郁症患者存在牺牲额叶和顶枕叶区域内的连接来实现两个区域之间的长距离连接的异常机制,这或许对抑郁症的异常认知处理机制提供了新的见解。其次本文提出的包含BRFAFNet的CAMMIL模型凭借其主动捕捉反映抑郁症状的频段数据、有效地将全脑特征嵌入到每个脑区特征中以及更高地模型评价指标,或许能够为轻度抑郁检测提供可靠的方法借鉴。另外,本文发现轻度抑郁患者在beta频段的频段选择上有统计学上的差异也具有重要意义。综上,本文发现了轻度抑郁症患者存在异常脑拓扑结构,以及通过该结构建立的CAMMIL模型可以提高轻度抑郁的识别率,为轻度抑郁的检测提供了新的视角。

基于层次聚类的订单组合拣选系统设计与实现

这是一篇关于货到人,订单组合,状态机,层次聚类的论文, 主要内容为随着互联网技术与电子商务仓储的融合发展,现代仓储作业模式正逐步从传统人到货模式转型为货到人模式。新的技术融入给仓储作业带来了更多新的可能,也给物流速度带来了更多挑战。本文以某电商仓库为对象,通过对实际拣选作业环境调研,发现仓库拣选效率低下,且现场订单结构比较复杂,每日拣选的商品重合度较低,仓库整体规划也缺乏严格的品类库存管理。针对以上问题,本文基于货到人拣选模式,设计并实现了全新的拣选系统,方便企业仓储作业的执行和管理。首先,本文对仓储作业过程中的主要业务进行了需求分析。其次,基于系统的需求分析,对系统各功能模块的数据库结构、具体功能进行了设计与实现。并且针对现场拣选效率低下,订单复杂且商品重合度低的问题,建立了订单组合处理策略,对出库模块订单处理活动进行了优化。优化主要针对订单内商品重合度低,且各类商品混放的现状,提出商品关联度算法以及商品关联度作为重要参数的订单关联度算法,并基于层次聚类思想实现了订单组合功能,对关联度高的订单进行组合拣选,减少拣选作业时货架搬运的次数,从而提高商品出库效率。最后基于实际仓库环境的商品和订单数据,对系统主要业务功能和拣选效能进行了测试,证明系统已经可以满足仓储作业的业务需求。相较于其他拣选系统,本系统兼容了仓储管理和仓储执行,实现了入库、出库、盘点三种作业模式,并将三种不同的作业模式统一抽象为基于状态机的任务处理引擎,为任务的管理、执行和异常的处理、恢复提供了公共的处理机制,增强了可维护性和扩展性。而且,由于此次研究对象拣选订单结构复杂、商品重合度低,且前期缺乏管理,所以无法单一的从订单内容的角度提升拣选效率,于是本文将订单关联度和库存现有分布相结合,设计并实现了基于层次聚类的订单组合策略,优化了出库拣选作业效率。

面向协同过滤推荐系统的鲁棒推荐方法研究

这是一篇关于协同过滤,鲁棒推荐,托攻击,矩阵分解,层次聚类,随机森林,粒子群优化的论文, 主要内容为协同过滤推荐作为电子商务领域应用最广泛的技术之一,是解决“信息超载”的重要技术手段。但是,面对托攻击时,现有的协同过滤推荐算法的鲁棒性不高,系统的推荐过程容易受到干扰,严重影响了系统的推荐结果。针对这一问题,本文基于基本矩阵分解技术,从攻击检测角度出发,运用有监督和无监督的机器学习算法,在努力提升推荐精度的前提下设计鲁棒性高的协同过滤推荐算法。首先,提出一种基于粒子群优化的矩阵分解推荐算法。在基本矩阵分解方法的基础上,为了提高项目特征矩阵和用户特征矩阵的鲁棒估计性能,采用粒子群优化技术,基于用户评分数据,对用户、项目特征矩阵进行初始化,得到用户、项目特征矩阵初始最优解,以此来提高系统的推荐精度,在Movie Lens数据集上与现有的算法进行对比分析,从推荐精度方面验证了所提算法的有效性。然后,提出一种融合层次聚类和MFRA＿PSO的鲁棒推荐算法。基于用户评分数据,挖掘真实用户与攻击用户之间存在的个体差异性,结合层次聚类算法设计攻击概貌检测算法,将用户概貌聚为两类。提出平均类内距离的定义,识别攻击概貌所在类并进行标记。将识别结果与基于粒子群优化的矩阵分解推荐算法相融合,设计鲁棒推荐算法,并在Movie Lens数据集上与现有的算法进行对比分析,从鲁棒性和推荐精度两个方面验证了所提算法的有效性。最后,提出一种融合随机森林和目标项目识别的鲁棒推荐算法。基于用户评分数据,给出项目流行度的定义,并结合卡方统计提取能够区分正常用户与攻击用户的有效特征。基于提取的特征训练随机森林分类器对攻击概貌进行第一阶段检测,接下来通过识别目标项目对含有攻击概貌的类别进一步检测,实现攻击概貌的第二阶段检测;基于攻击概貌检测结果和基于粒子群优化的矩阵分解推荐算法,设计鲁棒推荐算法,并在MovieLens数据集上与现有的算法进行对比分析,验证了所提算法的有效性。

基于数据驱动的备件储备策略优化及其平台研发

这是一篇关于备件管理,需求预测,蒙特卡洛,备件分类,层次聚类的论文, 主要内容为近年来,工业设备的数量随着生产需求不断增加,其结构功能向着复杂化、精密化方向持续发展,给企业的备件管理工作带来了巨大的挑战。传统的备件管理方法过于依赖技术人员的经验,主观性强,造成了备件管理成本高、效率低下等问题。因此,本文针对备件管理中备件的需求预测、备件分类以及备件管理平台三方面,通过对企业设备基础信息和运行数据统计分析,归纳总结备件的分类评价指标,并且建立了设备部件的寿命模型,同时围绕着备件管理的目标,运用管理学、数理统计、机器学习等知识建立备件分类、预测方面的数学模型,设计了一个基于数据驱动的备品备件的管理平台,实现备件数据信息的标准化、智能化管理。主要研究内容如下:1.针对不常用备件的需求数据离散性较高、数据量较少等问题,提出了一种基于可靠性的不常用备件储备定额确定方法。首先根据相似理论,对相似工况下的同种设备的故障数据进行统一分析,建立部件的寿命分布模型,然后根据备件的寿命分布,利用蒙特卡洛方法模拟备件在规定时间内更换流程,以此确定备件的需求量,实现不常用备件的储备定额计算。2.针对传统的时序预测模型对不稳定备件需求序列预测精度低等问题,建立一种基于集合经验模态分解的长短期记忆神经网络(EEMD-LSTM)的不稳定备件需求预测模型,使用集合模态分解方法将备件的不稳定需求序列分解为若干相对稳定的需求序列,并采用长短期记忆模型对其进行预测,最后对数据进行重构,实现对不稳定需求的预测,预测精度相对于传统的时序模型有了显著提高。3.针对备件的价格、数量、采购周期以及重要性等自身特性,构建备件分类指标评价体系。使用层次分析法和熵权法分别计算备件分类指标的主、客观权重,并结合博弈论的思想,解决主观权重和客观权重之间的冲突,实现组合赋权,最后采用层次聚类方法来对备件进行分类,使备件分类结果更为合理。4.综合上述研究方法,设计了基于数据驱动的备品备件管理平台,采用B/S框架,使用JAVA语言开发,利用My SQL数据库进行数据存储,实现备件基础信息管理、设备故障数据管理、库存信息管理及统计分析等功能,提高了企业对备品备件信息的数据化、标准化管理水平。

基于EEG信号的轻度抑郁症异常脑拓扑结构研究

这是一篇关于脑电,轻度抑郁症,功能连接,图论,层次聚类,多示例学习的论文, 主要内容为随着计算机与生物信息技术的不断发展,许多研究都试图使用计算机对精神疾病进行辅助诊断,尤其是脑电(Electroencephalogram,EEG)由于其无创伤性、相对低成本、便捷性等优点,被广泛用于抑郁症的识别。然而,目前大多数EEG的抑郁症检测工作都是基于监督学习方法,监督学习需要在训练期间使用特定的标签来识别EEG中的每个示例。通常情况下,基于抑郁症检测的二分类监督学习模型要求在模型初始化前确定所选EEG频段数据以及对其进行标签化处理。然而,由于不同频段的EEG数据包含着许多生理和疾病信息以及动态变化,研究者们很难挑选出能够反映出抑郁程度的频段数据。更重要的是,在目前的方法中,模型的最终预测是通过对被试的所有示例进行平均而得到的分数。然而,深度学习的稳健拟合能力可能会导致没有表现出显著症状的示例对模型性能产生负面影响,从而影响结果。因此,为了解决上述问题,本文首先探讨了轻度抑郁症的异常脑拓扑结构,然后基于研究结果构建出一种针对轻度抑郁症进行辅助诊断的深度神经网络模型。主要工作和创新如下:1.针对轻度抑郁人群功能脑网络研究,本文采用最新的脑功能网络分析方法和层次聚类算法,首次根据视觉搜索范式中的脑电数据系统探索了轻度抑郁症患者的异常脑拓扑结构。行为结果显示,轻度抑郁症组的反应时间明显长于正常对照组。脑功能网络结果表明,两组之间的功能连接存在明显差异,半球间的长距离连接量远大于半球内的短距离连接。尤其在beta频段,轻度抑郁症患者的局部效率(Local Efficiency,LE)和聚类系数(Clustering Coefficient,CC)明显降低,额叶和顶枕叶的聚类结构遭到了破坏,额叶出现大脑不对称情况。此外,左额叶和右顶枕叶之间的长距离连接的功能连接平均值与抑郁症状呈明显的相关性。我们的结果表明,轻度抑郁症患者通过牺牲额叶和顶枕叶区域内的连接来实现两个区域之间的长距离连接,这可能为抑郁症的异常认知处理机制提供了见解。2.针对轻度抑郁症异常脑拓扑结构的多示例学习辅助诊断模型研究,本文基于多示例学习(Multiple Instance Learning,MIL)提出了一个名为CAMMIL(MIL Framework Combining Attention and Max-pooling,CAMMIL)的模型框架,它在示例层层面上使用最大池化层进行捕捉抑郁症状信息,并且在包层层面上使用注意力权重进一步整合每个示例的贡献。此外,本文还提出了一个脑区特征注意力融合CNN模块BRFAFNet(Brain Region Features Attention Fused CNN Net),该网络能够有效地使全脑特征嵌入到每个脑区中。本文的提出的方法达到了85%的准确率(Accuracy,ACC)和84.1%的ROC曲线下面积(Area under ROC Curve,AUC),与目前基于EEG信号的抑郁症检测先进方法相比,准确率最高提升了13.1%。此外本文还对轻度抑郁症识别中的频段选择问题进行了分析,结果发现轻度抑郁患者在beta频段的频段选择上有统计学上的差异。这可能为轻度抑郁症的研究和检测提供新的见解。上述研究表明,轻度抑郁症患者存在牺牲额叶和顶枕叶区域内的连接来实现两个区域之间的长距离连接的异常机制,这或许对抑郁症的异常认知处理机制提供了新的见解。其次本文提出的包含BRFAFNet的CAMMIL模型凭借其主动捕捉反映抑郁症状的频段数据、有效地将全脑特征嵌入到每个脑区特征中以及更高地模型评价指标,或许能够为轻度抑郁检测提供可靠的方法借鉴。另外,本文发现轻度抑郁患者在beta频段的频段选择上有统计学上的差异也具有重要意义。综上,本文发现了轻度抑郁症患者存在异常脑拓扑结构,以及通过该结构建立的CAMMIL模型可以提高轻度抑郁的识别率,为轻度抑郁的检测提供了新的视角。