基于LightGBM与Catboost融合的二手车估价模型研究
这是一篇关于二手车估价,LightGBM,Catboost,融合模型的论文, 主要内容为随着我国经济的蓬勃发展,人们的收入水平提升,消费观也发生了转变。大众渐渐将视角从新车市场转向了二手车市场,特别是收入处于中低水平的家庭,会更加倾向于购买性价比相对较高的二手车,二手车不仅价格低于新车,并且经过检测的新车质量也可以保证。随着我国二手车市场的不断发展,价格评估体系却显露出不适应市场需求的问题,国内使用机器学习对二手车估价模型研究较少。本文主要研究的是二手车估价模型,二手车估价对于消费者和二手车商家来说非常重要,与二手车市场的发展也密切相关,具有非常重要的现实意义。本文建立了基于LightGBM与Catboost融合的二手车估价模型。在搜集和阅读了国内外大量关于车辆价格预测的文献确定可行后,建立了二手车估价指标体系。将Kaggle网站公布的某二手车售卖平台的二手车交易数据作为训练数据建立了基于LightGBM与Catboost融合的二手车估价模型,首先对数据进行了数据探索和描述性统计,并在模型拟合前进行了数据预处理,分别拟合LightGBM和Catboost模型之后再使用贝叶斯调参法和网格搜索法确定各自的最优参数,然后通过验证集效果确定了最佳拟合权重进行融合得到最终二手车估价模型,并且使用决策树、随机森林模型作为对比模型。并且使用python爬取二手车之家网站二手车相关数据作为验证数据,进一步验证了模型对于国内二手车估价仍适用。最终得出结论:使用LightGBM和Catboost的融合模型进行二手车估价预测效果最优。本文经过研究发现使用基于LightGBM与Catboost融合的二手车估价模型预测效果最好,融合模型MAE为1302.44,RMSE为2525.43,2为0.895,其次是Catboost模型、LightGBM模型、随机森林模型,决策树模型预测效果不理想。使用二手车数据基于LightGBM与Catboost融合的二手车估价模型进行预测,预测效果较好,该模型较适合用于二手车的价格预测。本文所建立的模型对变量重要性也进行了排序,重要性从高到低依次是:车辆功率、注册年份、车辆品牌、行驶里程、车辆类型、变速箱、燃油类型和维修情况。使用二手车之家网站的二手车交易数据进一步验证了本文所建立的融合模型在二手车估价中不受数据来源限制,数据的2为0.955,模型拟合优度很好,说明本文建立的融合模型适用于二手车估价。本文建立的基于LightGBM与Catboost融合的二手车估价模型提供了一种具有高准确性和适用性的二手车估价方法,在各大二手车电商平台对二手车价格评估时可以结合本文建立的基于LightGBM与Catboost融合的二手车估价模型来使用。并且本文模型对变量重要性也进行了排序,在此基础上可以结合LightGBM和Catboost对变量的重要性可以度量的优势进一步对车辆保值率进行研究。想要购买二手车的消费者在选购二手车时也可以使用本文二手车估价模型进行价格预估,决定是否购买。
基于集成学习模型的电商产品推荐算法研究
这是一篇关于推荐算法,缺失值处理,集成学习,融合模型的论文, 主要内容为在互联网时代大背景下,每天都有大量的数据产生,不同的用户拥有着个性化的需求差异。如何在海量数据中挖掘出用户的需求偏好,并依此向用户进行高效而精准的个性化推荐一直是推荐算法所追求的目标。但由于用户个性化信息难以获取,用户的兴趣也会实时迁移,因此大数据环境下的个性化精准推荐仍然面临着严峻的挑战。本文首先介绍了推荐系统的预备知识,再依次介绍了后续模型建立所需要的相关理论基础,即:极端梯度提升树(XGBoost),轻量级的高效梯度提升树(LightGBM),以及基于Facebook论文中梯度提升树与逻辑斯蒂回归融合模型(GBDT+LR)的改进模型XGBoost+LR融合模型。之后,基于某电商平台数据中用户对商品的点击数据集,分析可能影响用户点击行为的特征因素,通过对不同的数据量级、不同的缺失值填充方法、不同的模型进行对比实验,得出使得模型评价指标达到最优的数据集大小、缺失值填充方法以及模型类别。本文创新点在于:将用户对商品的兴趣度作为集成学习模型的训练数据,根据兴趣度高低进行排序推荐;对部分用户和商品属性信息的缺失现象进行基于行为相似度的个性化填充,经过对比实验,该方法可进一步提升模型性能;特征处理方面新增多个统计类特征,而在最优模型的特征重要性排序中,统计类特征所占据的重要性最大;在模型构建方面,利用XGBoost、LightGBM以及基于GBDT+LR改进后的XGBoost+LR模型对用户的兴趣度进行回归预测,并对各模型输出结果进行对比,选择评价指标表现最优的模型作为本文数据集的最佳推荐算法。最后,经过对模型结果的评价分析,得出结论:基于一万条点击记录,数据中的缺失值经过个性化填充后投入XGBoost模型进行训练,将会得到最优的推荐结果。
基于融合模型的中文多关系抽取研究及应用
这是一篇关于BERT,融合模型,知识图谱,命名实体识别,多关系抽取的论文, 主要内容为近年来随着网络技术的发展以及网络终端的普及,生活中越来越多的场景可以线上化。比如在线教育,这些年用户数量显著增长,特别是2020年在新冠疫情的影响下,在线教育业务快速增长,表现出很好的行业前景。一个好的教育平台对于学生和教师都有很大的帮助,然而现在的在线教育平台还存在一定短板,比如说课程价格昂贵、缺乏推荐能力或推荐内容不智能等问题。为了弥补这些短板,作者尝试了将知识图谱、认知诊断等技术运用到在线教育中,本文初步构建了教育知识图谱,和其他同学合作开发一个基于知识图谱的深辅AI(Artificial Intelligence)教育系统,达到了更精准的推荐符合学生学习内容的目的,以做出更优质的在线教育平台。本文主要工作如下:1.针对中文多关系抽取问题进行研究,提出了基于BERT(Bidirectional Encoder Representation from Transformers)的BCMRE(Base-BERT Chinese Multi-relation extraction)模型,可以根据一条文本句子完成多个三元组的抽取工作。此模型主要由关系分类模型与元素抽取模型组成,通过关系分类模型分类出句子的多种关系,元素抽取模型进行命名实体识别工作得到对应关系的实体。关系分类模型为了更好的分类加入了前置模型AGCNN(attention-gated convolutional neural network),元素抽取模型为了进行分词及对词性信息分类加入了前置模型Bi LSTM(Bi-directional Long Short-Term Memory)与CRF(Conditional Random Fields)。最后通过实验验证了模型的有效性;2.爬取教育数据运用BCMRE抽取三元组,并使用Neo4j可视化数据库创建了知识图谱,将其应用到项目中。从BCMRE得到中文知识三元组,然后使用编写的python脚本代码,将这些三元组通过Neo4j构建为图数据库,即知识图谱。基于知识图谱完成了深辅AI教育系统的设计与开发。程序的创新之处是将知识图谱、认知诊断、推荐等AI技术相融合作为程序的核心,然后通过需求分析、开发、测试,完成了在线教育辅助系统。
基于神经协同过滤的推荐模型研究
这是一篇关于深度学习,协同过滤,推荐系统,隐式反馈,融合模型的论文, 主要内容为传统协同过滤中的矩阵分解方法(MF)使用点积运算建模用户和物品之间的交互,难以学习到非线性交互关系。现有的神经协同过滤模型虽然在结合MF核心思想—哈达玛积算子的基础之上采取不同方式结合神经网络方法,但依然不能完全在同一过程中结合两者的优势,限制了模型的表达能力。查阅大量文献之后,本文在上述不足的前提下,主要工作在于推荐系统中的核心问题—协同过滤,聚焦在矩阵分解方法基础之上,探索与深度学习的不同融合方式,进一步改善模型表现,提升Top-N推荐列表的准确性:首先介绍了GMF模型的基本思想和流程,针对该方法中存在的缺陷,通过引入用户-物品对线性交叉表示信息提出DEMF模型,模型采用哈达玛积学习嵌入空间同维度之间的关系,通过线性特征提取学习不同维度之间的交叉信息,强化了模型学习低秩线性关系的能力,之后整合两部分线性信息送入MLP结构学习一定的非线性交互关系,可以获得更加复杂的交互函数;其次进一步融合MLP方法的非线性优势,在NCF框架下,提出一种创新的端到端的基于神经协同过滤的推荐方法,同时提出Deep+Deep结构实现的融合模型NNEMF,其结合了不同嵌入维度之间的交叉信息进行建模。该模型左半部分采取DEMF组件,其聚焦于低秩线性交互关系的学习,右半部分联合MLP组件,其充分学习了非线性的交互关系,之后结合两个模型的预测因子向量进行加权,进一步增强模型彼此互补的能力。最终丰富了NCF框架下模型的结构种类,并在不同真实数据集上与现有方法进行了对比验证,表现超越现有的方法,提升了推荐模型的性能,提升了用户体验。
基于深度学习的语义角色标注技术研究与实现
这是一篇关于语义角色标注,融合模型,自注意力机制,高速双向长短期记忆的论文, 主要内容为互联网信息正处于爆炸式增长的状态,非结构化数据的比例越来越大,如何从大规模的数据中提取出重要的知识变得尤为重要。通过对非结构化的文本进行分析和处理,将其表达的知识以结构化的形式进行呈现,从而构建成大规模知识图谱,使得计算机可以更准确的理解人类所要表达的内容,加速计算机的处理能力。事件的识别和抽取作为自然语言处理领域中一个重要目标,对知识图谱的构建起着重要的作用。然而,由于这一问题具有较高的复杂性,处理起来比较困难,当前的进展并不明显。由于浅层语义分析是事件识别和抽取的一个重要组成部分,相关工作者开始对其展开研究。其中,语义角色标注作为构建事件图谱的一种重要核心技术,能够满足浅层语义分析的需要。它以句子为处理单位,以其包含的谓词为核心,研究句子中各个成分和谓词的关系,并用对应的角色对其进行标注。大量研究表明,语义角色标注能够有效提高自然语言处理应用(如摘要生成、问答系统、机器翻译)的性能。对于摘要生成,语义角色标注可以填写“谁”“在什么时间”“什么地点”“干什么”等问题;对于问答系统,可以先对问题进行语义角色标注,然后对结果进行问答模板匹配,得到相应的答案;对于机器翻译,可以先对源文本进行语义角色标注,得到一棵包含基本语义信息的树,然后将其输入到翻译模型中。英语作为世界上使用率最高的语言,其语法及表达形式和其他语言相比更加简易,语义角色标注的相关工作比较成熟。相比而言,俄语和汉语中可用的语料库较少,且两者的语义表示都更加复杂,其研究进展相对靠后。因此,本文着眼于俄语和汉语语义角色标注技术的提升。对于俄语,主要研究内容包括:(1)针对当前模型准确度不高的问题,使用门循环单元以及注意力机制等技术来学习句子中潜在的上下文特征;(2)采用模型融合技术,将多个基本模型进行融合,得到最终的融合模型,进而提高模型标注结果的准确性。对于汉语,主要研究内容包括:(1)在已有模型的基础上,加入自注意力机制以及高速双向长短期记忆等技术来解决原有模型中存在的长期依赖问题;(2)对影响模型的多种因素进行对比实验,找到最佳实践参数。实验结果表明,两种语言对应的新模型性能均可获得明显的提升,模型的泛化能力大大加强。
基于融合模型的中文多关系抽取研究及应用
这是一篇关于BERT,融合模型,知识图谱,命名实体识别,多关系抽取的论文, 主要内容为近年来随着网络技术的发展以及网络终端的普及,生活中越来越多的场景可以线上化。比如在线教育,这些年用户数量显著增长,特别是2020年在新冠疫情的影响下,在线教育业务快速增长,表现出很好的行业前景。一个好的教育平台对于学生和教师都有很大的帮助,然而现在的在线教育平台还存在一定短板,比如说课程价格昂贵、缺乏推荐能力或推荐内容不智能等问题。为了弥补这些短板,作者尝试了将知识图谱、认知诊断等技术运用到在线教育中,本文初步构建了教育知识图谱,和其他同学合作开发一个基于知识图谱的深辅AI(Artificial Intelligence)教育系统,达到了更精准的推荐符合学生学习内容的目的,以做出更优质的在线教育平台。本文主要工作如下:1.针对中文多关系抽取问题进行研究,提出了基于BERT(Bidirectional Encoder Representation from Transformers)的BCMRE(Base-BERT Chinese Multi-relation extraction)模型,可以根据一条文本句子完成多个三元组的抽取工作。此模型主要由关系分类模型与元素抽取模型组成,通过关系分类模型分类出句子的多种关系,元素抽取模型进行命名实体识别工作得到对应关系的实体。关系分类模型为了更好的分类加入了前置模型AGCNN(attention-gated convolutional neural network),元素抽取模型为了进行分词及对词性信息分类加入了前置模型Bi LSTM(Bi-directional Long Short-Term Memory)与CRF(Conditional Random Fields)。最后通过实验验证了模型的有效性;2.爬取教育数据运用BCMRE抽取三元组,并使用Neo4j可视化数据库创建了知识图谱,将其应用到项目中。从BCMRE得到中文知识三元组,然后使用编写的python脚本代码,将这些三元组通过Neo4j构建为图数据库,即知识图谱。基于知识图谱完成了深辅AI教育系统的设计与开发。程序的创新之处是将知识图谱、认知诊断、推荐等AI技术相融合作为程序的核心,然后通过需求分析、开发、测试,完成了在线教育辅助系统。
化纤卷绕机锭轴回转精度预测与优化
这是一篇关于卷绕机锭轴,融合模型,装配精度预测,公差优化,微服务系统的论文, 主要内容为高速卷绕机是化纤长丝生产设备中的重要组成部分,其凭借锭轴的回转运动对纤维起着拉伸和卷绕的作用,因此卷绕机锭轴的回转精度直接影响到丝饼的成型质量。装配对锭轴回转精度影响重大,由于锭轴装配件多、装配关系复杂,且为纯手工装配,其回转精度不易控制,如何实现锭轴回转精度的预测,从而优化现有公差设计方案,对于指导锭轴装配具有重要意义。本文首先通过动力学分析研究锭轴回转精度对其振动特性的影响;其次建立融合模型实现回转精度预测;最后构建多目标优化模型对锭轴几何公差进行优化。论文的主要研究内容如下:(1)研究锭轴回转精度对其振动特性的影响。首先通过锭轴结构组成分析锭轴装配精度需求,将回转精度分为同轴度和平行度进行后续研究;其次分析锭轴传动关系,依据哈密顿与拉格朗日原理建立锭轴动力学方程;最后基于龙格-库塔法求解锭轴动力学方程,确定同轴度和平行度的变动范围。(2)为了实现卷绕机锭轴回转精度预测,提出基于深度迁移学习的融合建模预测方法。首先基于雅可比旋量理论对锭轴公差进行建模,构建锭轴几何公差传递尺寸链;其次对锭轴实测装配数据进行精度样本集生成,缓解模型训练过程中由于样本数量不够造成的过拟合问题;最后构建深度迁移学习模型实现锭轴回转精度预测,为后续几何公差优化提供评价指标。(3)为了优化卷绕机锭轴几何公差设计方案,提出锭轴振动特性驱动的多目标公差优化模型。首先基于蒙特卡洛方法分析锭轴几何公差贡献度,获得原公差设计方案的贡献度排名;其次建立考虑成本和质量损失的多目标公差优化模型,并引入动态惩罚函数将其求解过程转变为无约束求解问题;最后基于非支配排序遗传算法对模型求解,获得更优的公差设计方案。(4)根据北京某卷绕机制造企业的实际工程需求,建立微服务系统对上述回转精度预测方法和几何公差优化方法进行功能模块验证,为卷绕机锭轴实际装配指导、公差设计提供可靠的应用工具。综上所述,本文研究实现了对锭轴回转精度的有效分析,不仅适用于锭轴回转精度预测,而且有利于锭轴的几何公差方案设计,为实际工程应用提供支撑。
基于神经协同过滤的推荐模型研究
这是一篇关于深度学习,协同过滤,推荐系统,隐式反馈,融合模型的论文, 主要内容为传统协同过滤中的矩阵分解方法(MF)使用点积运算建模用户和物品之间的交互,难以学习到非线性交互关系。现有的神经协同过滤模型虽然在结合MF核心思想—哈达玛积算子的基础之上采取不同方式结合神经网络方法,但依然不能完全在同一过程中结合两者的优势,限制了模型的表达能力。查阅大量文献之后,本文在上述不足的前提下,主要工作在于推荐系统中的核心问题—协同过滤,聚焦在矩阵分解方法基础之上,探索与深度学习的不同融合方式,进一步改善模型表现,提升Top-N推荐列表的准确性:首先介绍了GMF模型的基本思想和流程,针对该方法中存在的缺陷,通过引入用户-物品对线性交叉表示信息提出DEMF模型,模型采用哈达玛积学习嵌入空间同维度之间的关系,通过线性特征提取学习不同维度之间的交叉信息,强化了模型学习低秩线性关系的能力,之后整合两部分线性信息送入MLP结构学习一定的非线性交互关系,可以获得更加复杂的交互函数;其次进一步融合MLP方法的非线性优势,在NCF框架下,提出一种创新的端到端的基于神经协同过滤的推荐方法,同时提出Deep+Deep结构实现的融合模型NNEMF,其结合了不同嵌入维度之间的交叉信息进行建模。该模型左半部分采取DEMF组件,其聚焦于低秩线性交互关系的学习,右半部分联合MLP组件,其充分学习了非线性的交互关系,之后结合两个模型的预测因子向量进行加权,进一步增强模型彼此互补的能力。最终丰富了NCF框架下模型的结构种类,并在不同真实数据集上与现有方法进行了对比验证,表现超越现有的方法,提升了推荐模型的性能,提升了用户体验。
基于深度学习个性化房型推荐的酒店预订系统
这是一篇关于酒店预订,个性化推荐,深度学习,融合模型的论文, 主要内容为随着互联网与人们生活方式的深度融合,在线旅行社利用网络平台改变了传统的旅游营销模式,将线下的酒店信息、路线信息在网络上进行传输,加快了酒店相关信息的传播与获取,为用户进行酒店预订提供了极大的便利。但是随着酒店信息数据的急剧增长,用户在预订酒店时需要花费很长的筛选时间,才能找到自己偏爱的酒店房型及酒店。因此,如何向用户提供酒店房型及酒店的精准推送,是现有的酒店预订平台急需解决的重要问题,也是未来酒店预订平台的发展趋势。本论文开发完成了一套基于深度学习个性化房型推荐的酒店预订系统。系统设计时首先根据需求进行系统原型的开发,然后不断地对系统原型进行完善,直到形成满足用户需求的系统。本系统开发的主要功能包含个性化推荐、个人中心、预订管理、酒店管理、客房管理、系统管理等功能模块。本论文主要通过TensorFlow和XGBoost开源库,使用Python语言构建DeepFM+XGBoost融合模型。本论文利用XGBoost进行低阶特征抽取以及DeepFM进行低阶特征、高阶特征交互的优势,对用户的兴趣、爱好、历史订单行为数据等进行挖掘,获取潜在影响用户行为的各种数据特征,进行模型训练得到最佳融合模型。本论文将最佳融合模型应用在个性化推荐功能模块进行预测,将预测的结果表的TopK返回用户,实现对用户预定何种酒店房型的精准推荐,弥补现有的酒店预订平台存在的不足,比如携程、去哪儿等,只是推荐最热门酒店,所有用户得到的推荐酒店都是一样的,并没有以人为核心推荐最偏爱的酒店房型及酒店。本论文实现完成了个性化推荐、个人中心,预定管理,酒店管理,客房管理,系统管理等功能模块。本论文使用DeepFM+XGBoost融合模型进行推荐,得到更好的推荐精确度,系统功能测试通过,系统性能表现良好,基本可以提供酒店预订、酒店房型及酒店的个性化推荐服务。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码小屋 ，原文地址：https://bishedaima.com/lunwen/46687.html
