电商商品物流主数据异常检测方法研究
这是一篇关于商品物流主数据,异常检测,孤立森林,箱线图的论文, 主要内容为对于电商平台来说,提高订单履约效率,降低履约成本是提高其竞争力的核心之一。为此,电商越来越重视智能技术在其物流服务中的运用。而智能技术需要高质量的数据作为支撑。在物流服务中,我们最为关注的是商品的类别、尺寸、体积、重量这几项数据,我们将其称为商品的物流主数据。如果这些数据出现错误,则会在很大的程度上影响后续仓储运输作业流程和作业效率,并造成企业、承运商或分拣搬运配送人员的经济损失和经济纠纷。商品的物流主数据通常是在商品入库的时候人工采集的,会存在一定比例的错误。如今的大型电商平台上,销售的商品数量非常多,可达数百万种。为了避免错误数据对智能化作业的影响,需要能够高效的在这数百万条数据中尽可能精确的找出错误的数据。本文针对电商商品物流主数据的异常检测方法进行了研究。论文首先基于G公司商品物流主数据信息,采用探索性数据分析方法,分析了商品物流主数据的特征,得出异常数据的特点和成因。然后我们并结合异常检测的相关文献,依据电商商品物流主数据的特点,提出了一种电商商品物流主数据异常检测方法。方法包括维度整理、极端异常数据检测和可疑数据检测三个步骤,将基于箱线图的参数方法和孤立森林这一机器学习算法相结合,实现了电商商品物流主数据的异常检测。最后,我们使用G公司的商品物流主数据信息,对本文所提出的电商商品物流主数据异常检测方法的有效性进行验证,并介绍该方法在G公司的部署和应用情况。
电商商品物流主数据异常检测方法研究
这是一篇关于商品物流主数据,异常检测,孤立森林,箱线图的论文, 主要内容为对于电商平台来说,提高订单履约效率,降低履约成本是提高其竞争力的核心之一。为此,电商越来越重视智能技术在其物流服务中的运用。而智能技术需要高质量的数据作为支撑。在物流服务中,我们最为关注的是商品的类别、尺寸、体积、重量这几项数据,我们将其称为商品的物流主数据。如果这些数据出现错误,则会在很大的程度上影响后续仓储运输作业流程和作业效率,并造成企业、承运商或分拣搬运配送人员的经济损失和经济纠纷。商品的物流主数据通常是在商品入库的时候人工采集的,会存在一定比例的错误。如今的大型电商平台上,销售的商品数量非常多,可达数百万种。为了避免错误数据对智能化作业的影响,需要能够高效的在这数百万条数据中尽可能精确的找出错误的数据。本文针对电商商品物流主数据的异常检测方法进行了研究。论文首先基于G公司商品物流主数据信息,采用探索性数据分析方法,分析了商品物流主数据的特征,得出异常数据的特点和成因。然后我们并结合异常检测的相关文献,依据电商商品物流主数据的特点,提出了一种电商商品物流主数据异常检测方法。方法包括维度整理、极端异常数据检测和可疑数据检测三个步骤,将基于箱线图的参数方法和孤立森林这一机器学习算法相结合,实现了电商商品物流主数据的异常检测。最后,我们使用G公司的商品物流主数据信息,对本文所提出的电商商品物流主数据异常检测方法的有效性进行验证,并介绍该方法在G公司的部署和应用情况。
推荐系统中的攻击检测研究
这是一篇关于推荐系统,托攻击检测,用户概貌特征,孤立森林,标签传播的论文, 主要内容为随着互联网技术的普及与发展,信息的数量以及传播速度都处于爆炸式增长,而推荐系统技术的出现有效地缓解了信息过载问题带来的消极影响。基于协同过滤的推荐算法通过分析用户历史行为数据,挖掘出用户的偏好,从而协助用户发现那些他们未来可能会产生兴趣的信息,并将其主动的推送给用户。然而,由于协同过滤算法对用户信息的依赖性,使得推荐系统面临一些安全性问题。比如:一些恶意攻击者人为地将虚假用户信息注入到推荐系统中,试图干涉推荐结果以谋求利益,这种行为被称为“托攻击”。托攻击严重影响了推荐系统的正常运行,也危害了正常用户的利益。因此,如何应对推荐系统中的托攻击成为了推荐系统研究领域的热点之一。本文对推荐系统中的托攻击检测问题进行研究,旨在实现两个目标:一是有效的检测出推荐系统中的托攻击,二是提升托攻击检测的效率。本文首先分析了协同过滤推荐系统的工作原理、托攻击及攻击模型的特点。然后,本文从托攻击用户与正常用户的评分行为差异性入手,提取用户概貌特征用于托攻击检测。本文在用户概貌特征的有效性问题中,提出了一种基于信息增益的用户概貌特征选择方法Gain-User,并使用该方法得到的特征子集有效地提升了检测算法的准确率。接着本文提出了一种基于孤立森林的托攻击检测方法IFDM,与SVM、C4.5等方法相比,该算法在检测效率方面优势明显且保持了不错的检测准确率。本文对孤立森林模型中的参数进行分析,采用了一种基于粒子群算法的参数寻优方法PSO-IForest,得到孤立森林算法的优化参数。对于孤立森林在隔离树的生成过程中,由于分裂特征随机性选择产生的检测效果下降的问题,本文对分裂特征进行加权选择,偏向于选择更重要的特征,从而提升孤立森林算法的准确性和稳定性。然后针对托攻击具有群体性的特点,本文提出一种基于标签传播的托攻击检测模型LPDM。针对用户的评分行为和用户间的相似性,定义了标签传播的权重和迭代规则。该方法可以将评分行为相似的用户群体聚集到同一个标签类别下,这能有效的发现那些具有群体性特点的托攻击用户。
数据驱动的冷轧关键设备状态趋势研究
这是一篇关于预测性维护,极限学习机,故障诊断,孤立森林的论文, 主要内容为近年来,随着科技不断进步,大型工程设备的功能越来越强,但其系统复杂性也随之提高。设备在长时间复杂工况条件下运转,性能会逐渐劣化。传统的设备故障诊断与健康管理方法在实际应用中存在诸多局限,例如基于设备机理建模的方法成本太高,基于统计分析的方法一般都是将系统及其零部件的性能状态视为某一静态区间,只有当系统参数超出区间界限时才报警,且经常出现误报或者报警延时等问题。因此,国内外众多学者开始研究基于数据驱动的设备故障诊断与预测性维护新方法。结合工程实际需求,本文针对设备性能劣化趋势做预测性研究,并就基于特征评价的设备故障诊断方法提供一种新的思路。论文的主要研究内容包括:(1)设备性能趋势预测研究。大部分机械设备的性能劣化都是持续且缓慢变化的过程,且从设备的相关参数中可以分析出设备性能变化轨迹。为提前发现设备性能劣化趋势,本文提出了几种设备性能趋势预测模型。以平整机为应用对象,通过分析设备工作原理,得到与设备性能密切相关的参数,将参数的历史数据进行数据预处理和经验模态分解,分解的本征函数作为ARIMA、LSTM、RNN和ELM预测模型的输入,并将每项预测结果叠加得到最终的预测值,通过模型的预测精度及训练速度综合对比四种模型的表现能力。(2)提出基于特征评价的设备故障诊断新方法。在设备故障诊断中,面对异常样本量少的情况,大部分基于数据驱动的故障诊断模型表现不佳。原因有二,其一是诊断系统都依据单一特征判断设备的状态,忽略了其他特征所包含的信息;其二是故障集是小样本,模型未能得到充分训练。所以本文应用基于信息熵理论的特征评价方法,将数据的众多特征按照包含信息量的大小进行排序,从中得到最具价值的特征,从而构建高维特征空间,依据异常小样本偏离正常样本群的特性,在高维特征空间中借助孤立森林算法识别离群点。以焊机设备作为应用对象验证了模型和方法的有效性。(3)搭建设备状态智能监测系统。传统监测系统采用的C/S架构存在诸多的缺陷,最大的问题是系统维护成本高,可扩展性不强。因此,本文开发基于python语言的B/S架构监测系统平台,系统前端Web可视化界面与后台MongoDB数据库传输数据应用Restful API网络接口,系统更新和维护只需针对服务器操作,客户端无需任何操作,极大节省资源。
电商商品物流主数据异常检测方法研究
这是一篇关于商品物流主数据,异常检测,孤立森林,箱线图的论文, 主要内容为对于电商平台来说,提高订单履约效率,降低履约成本是提高其竞争力的核心之一。为此,电商越来越重视智能技术在其物流服务中的运用。而智能技术需要高质量的数据作为支撑。在物流服务中,我们最为关注的是商品的类别、尺寸、体积、重量这几项数据,我们将其称为商品的物流主数据。如果这些数据出现错误,则会在很大的程度上影响后续仓储运输作业流程和作业效率,并造成企业、承运商或分拣搬运配送人员的经济损失和经济纠纷。商品的物流主数据通常是在商品入库的时候人工采集的,会存在一定比例的错误。如今的大型电商平台上,销售的商品数量非常多,可达数百万种。为了避免错误数据对智能化作业的影响,需要能够高效的在这数百万条数据中尽可能精确的找出错误的数据。本文针对电商商品物流主数据的异常检测方法进行了研究。论文首先基于G公司商品物流主数据信息,采用探索性数据分析方法,分析了商品物流主数据的特征,得出异常数据的特点和成因。然后我们并结合异常检测的相关文献,依据电商商品物流主数据的特点,提出了一种电商商品物流主数据异常检测方法。方法包括维度整理、极端异常数据检测和可疑数据检测三个步骤,将基于箱线图的参数方法和孤立森林这一机器学习算法相结合,实现了电商商品物流主数据的异常检测。最后,我们使用G公司的商品物流主数据信息,对本文所提出的电商商品物流主数据异常检测方法的有效性进行验证,并介绍该方法在G公司的部署和应用情况。
基于物联网平台的车辆监管系统的设计与实现
这是一篇关于物联网,GPS漂移,异常检测,孤立森林,Redis的论文, 主要内容为特种设备是指涉及人民群众生命安全、危险程度较高的设备,如锅炉、电梯、场(厂)内专用机动车辆等。近年来,随着中国经济的飞速发展,特种设备的数量持续增多。从我国目前特种设备管理现状来看,存在设备未登记或未进行安全监管的问题,临界报废的设备依然运行。对于特种设备车辆,由于其移动性较大,且位置分散,车辆行驶状态及设备状态等重要信息无法及时获取并集中管理,影响了行车安全。其次,由于车辆GPS信号是电磁波,容易受到外界环境因素的影响而产生位置漂移等异常问题,在降低数据精度的同时也极大影响了车辆监管的可靠性。市面上传统的车辆监管系统,服务器一般为开发人员自行租赁开发,对系统的定期维护造成了人力、物力资源的严重浪费。随着未来车辆监管业务的扩展带来的多用户高并发负载,系统容易出现的瓶颈问题也将导致更多的经济损失。针对以上需求,本文基于开源物联网平台,设计并实现一个高性能的集特种设备使用登记及综合多需求的车辆监管系统。该系统既能够对不同状态下的特种设备实现远程集中登记管理,又能够实现对特种设备车辆及道路机动车辆的监管。在保障人身和车辆安全的同时,使得监管工作更加智能化,极大提高了企业管理效率。本文首先基于研究背景进行了深入的功能性与非功能性需求分析,设计了平台的组织结构;随后,基于Site Where开源物联网平台,采用Spring、SpringBoot、MongoDB、Vue.js、第三方LBS服务等技术方法实现系统的各个功能模块;对于GPS数据的异常问题,本文引入了机器学习中的一种无监督学习方法——孤立森林算法,对异常数据进行检测;同时,采用真实车辆的原始GPS数据集,通过与局部异常因子算法的对比实验,验证了孤立森林算法具有良好的异常检测效果;本文还采用Redis缓存对车辆监管系统进行性能优化,解决了多用户高并发环境下主数据库的访问压力;最后,通过功能测试和压力测试分别验证了系统的可用性与稳定性。
基于改进iForest的学生异常行为检测及分析系统研究
这是一篇关于异常检测,孤立森林,聚类,学生异常行为检测及分析系统的论文, 主要内容为随着社会的高速发展,人们的生活节奏也日益加快,而高速的生活节奏极易引发一系列生理或心理上的问题。相比于有一定工作经验和生活阅历的成年人而言,刚刚脱离亲朋保护的大学生更容易产生问题,甚至出现退学乃至轻生等不可挽回的行为。随着信息技术的推广和应用,以数据驱动为核心的异常检测技术在学生心理健康教育领域也取得了一系列出色的成果。因此如何利用异常检测技术来处理和分析校园中的学生数据以辅助高校进行管理是一个值得研究的问题。针对这个问题,本文提出一种以数据驱动的基于异常检测技术的学生异常行为检测及分析系统,主要工作包括:(1)提出一种改进的孤立森林(Isolate Forest,iForest)和K-Means相结合的算法。改进的iForest算法主要针对传统iForest算法中存在的分支过多和得分不一致的情况,更改了分支构建过程。该方法首先使用改进的iForest算法对数据集筛选出一组异常候选,然后使用K-Means从异常候选中得出异常分类结果。(2)设计了一种基于无监督异常检测算法的学生异常行为检测及分析系统,该系统不仅具备学生心理测评的功能,还能够基于改进的iForest算法对学生的异常行为进行检测和分析。(3)实现了一种学生异常行为检测及分析系统。该系统基于jQuery和EasyUI前端技术以及SSH(Struts2+Spring+Hibernate)框架,以MySQL为数据库,采用Eclipse开发了行为检测及分析预警功能。
基于物联网平台的车辆监管系统的设计与实现
这是一篇关于物联网,GPS漂移,异常检测,孤立森林,Redis的论文, 主要内容为特种设备是指涉及人民群众生命安全、危险程度较高的设备,如锅炉、电梯、场(厂)内专用机动车辆等。近年来,随着中国经济的飞速发展,特种设备的数量持续增多。从我国目前特种设备管理现状来看,存在设备未登记或未进行安全监管的问题,临界报废的设备依然运行。对于特种设备车辆,由于其移动性较大,且位置分散,车辆行驶状态及设备状态等重要信息无法及时获取并集中管理,影响了行车安全。其次,由于车辆GPS信号是电磁波,容易受到外界环境因素的影响而产生位置漂移等异常问题,在降低数据精度的同时也极大影响了车辆监管的可靠性。市面上传统的车辆监管系统,服务器一般为开发人员自行租赁开发,对系统的定期维护造成了人力、物力资源的严重浪费。随着未来车辆监管业务的扩展带来的多用户高并发负载,系统容易出现的瓶颈问题也将导致更多的经济损失。针对以上需求,本文基于开源物联网平台,设计并实现一个高性能的集特种设备使用登记及综合多需求的车辆监管系统。该系统既能够对不同状态下的特种设备实现远程集中登记管理,又能够实现对特种设备车辆及道路机动车辆的监管。在保障人身和车辆安全的同时,使得监管工作更加智能化,极大提高了企业管理效率。本文首先基于研究背景进行了深入的功能性与非功能性需求分析,设计了平台的组织结构;随后,基于Site Where开源物联网平台,采用Spring、SpringBoot、MongoDB、Vue.js、第三方LBS服务等技术方法实现系统的各个功能模块;对于GPS数据的异常问题,本文引入了机器学习中的一种无监督学习方法——孤立森林算法,对异常数据进行检测;同时,采用真实车辆的原始GPS数据集,通过与局部异常因子算法的对比实验,验证了孤立森林算法具有良好的异常检测效果;本文还采用Redis缓存对车辆监管系统进行性能优化,解决了多用户高并发环境下主数据库的访问压力;最后,通过功能测试和压力测试分别验证了系统的可用性与稳定性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码导航 ，原文地址：https://bishedaima.com/lunwen/50298.html
