云制造环境下车间生产大数据处理系统研究与开发
这是一篇关于制造资源虚拟化,数据采集和处理,Lambda架构,生产大数据,云制造系统的论文, 主要内容为随着工业4.0、中国制造2025等先进制造概念的深入推进,刺激着制造业向着数字化及智能化的方向发展,在这样的背景下,能否实现对车间生产数据的高效利用就显得尤为重要。传统制造车间存在着资源离散分布、功能特征表示不全、灵活性低等问题,这些缺陷极大地限制了车间的智能化发展。为此,本文通过研究云制造相关理论,设计并构建了一个集成多源异构生产数据采集、低延时数据传输和并行运行流式计算和批量计算的车间生产大数据处理系统。针对车间制造资源种类多样且形式各异的特点,通过设计资源虚拟化模型对制造资源进行统一描述。在制造资源分类结果和属性描述信息分析的基础上,利用建模工具构建了制造资源结构化模型,并通过设计资源创建界面用于接收用户定义的资源静态属性并基于XML语言封装成资源实例。同时,分别为每类生产数据开发合适的采集模块并设计边缘计算模块降低数据的传输量,通过设计抽象化数据接口提高系统的可扩展性和灵活性。为了克服车间传统数据系统中存在的数据传输高延迟和处理方式单一的问题,本文设计与开发了车间生产大数据传输和处理系统。采用分布式消息中间件Kafka构建数据传输系统框架,设计并开发一系列功能模块组件,实现了数据分流、消息过滤和易用的数据接收发送接口等功能。为了兼顾车间生产数据处理结果实时性和准确性的需求,基于Lambda架构设计生产大数据处理系统,能够并行运行流式计算和批量计算。通过开发生产状况监控模块对车间的生产环境、设备运行状态和工件加工流程等进行监控,实现车间生产状况的透明化。在上述研究基础上,完成了系统部署、性能测试评估以及资源虚拟化模块的设计。通过引入微服务架构部署系统,降低了各个功能模块之间的耦合度。对数据传输系统的吞吐量和平均延迟进行了测试,验证了系统的可用性。进一步,基于Spring Boot框架设计了资源创建和查询界面,通过与实验室现有的数据采集系统和数据处理系统结合,实现制造资源静态属性和动态属性的合并封装,提高了资源虚拟化模型的描述准确度。
基于深度学习的电商实时推荐系统的设计与实现
这是一篇关于推荐系统,PLE,Transformer,Lambda架构,Parameter Server的论文, 主要内容为对于当今互联网公司,推荐系统已经成为了业务增长的重要引擎。好的推荐服务能够提高用户满意度,有助于互联网公司实现商业化的目标。随着互联网业务的发展,推荐系统要求能够处理海量数据;要求推荐结果精度高,能够满足用户的兴趣;要求推荐结果具有实时性,能够实时捕捉用户兴趣的变化,及时更新推荐结果。针对以上三点要求,本论文设计并实现了基于深度学习的电商实时推荐系统。本论文设计的推荐系统实现了先召回后精准排序的推荐模型,同时实现了电商平台的基础功能。通过详细的需求分析,对项目整体功能进行模块划分,得到用户交互模块、数据预处理模块、推荐模型训练模块和推荐模型预测模块四大功能模块。其中,用户交互模块产生海量数据传到数据预处理模块;在数据预处理模块,应用大数据框架处理海量数据,离线和在线两条数据流的设计满足实时性要求;推荐模型训练模块实现商品特征Embedding预处理,并分别实现了离线批量和在线增量的分布式模型训练,满足处理海量数据和实时性的要求;推荐模型预测模块设计先召回后精排的两阶段模型,实现基于HNSW算法的双塔召回模型,创新性地提出PLE结合Transformer的精排模型,兼顾了实时性和模型精度。作者独立设计并完成了以下四个功能模块:(1)用户交互模块:使用SpringBoot和MyBatis设计并实现了商品展示、购物车、商品购买、个人信息管理、获取商品推荐等功能。(2)数据预处理模块:应用Lambda架构实现离线和在线两条数据流,其中离线批计算使用Spark框架,实时流计算使用Flink框架,得到用户和商品的正排、候选、倒排数据流。根据用户对推荐结果的反馈,使用Flink框架进行样本拼接,得到正负样本。(3)推荐模型训练模块:用Node2Vec模型对商品特征Embedding进行预训练。使用Parameter Server实现分布式训练机器学习模型,对精排模型进行离线全量和线上增量训练,并存储训练好的精排模型参数。(4)推荐模型预测模块:包括召回和精排两个环节。在召回环节,实现基于HNSW算法的双塔模型,得到向量化召回,并进行多路召回合并,结果输入到精排模型。在精排环节,读取已经训练好的精排模型参数,计算最后的排序结果,给用户返回推荐结果。为了更好地挖掘用户行为序列数据中隐藏的用户兴趣信息,本文创新性地提出PLE结合Transformer的精排模型,实验结果表明其在多个目标任务中优于传统精排模型。
基于深度学习的电商实时推荐系统的设计与实现
这是一篇关于推荐系统,PLE,Transformer,Lambda架构,Parameter Server的论文, 主要内容为对于当今互联网公司,推荐系统已经成为了业务增长的重要引擎。好的推荐服务能够提高用户满意度,有助于互联网公司实现商业化的目标。随着互联网业务的发展,推荐系统要求能够处理海量数据;要求推荐结果精度高,能够满足用户的兴趣;要求推荐结果具有实时性,能够实时捕捉用户兴趣的变化,及时更新推荐结果。针对以上三点要求,本论文设计并实现了基于深度学习的电商实时推荐系统。本论文设计的推荐系统实现了先召回后精准排序的推荐模型,同时实现了电商平台的基础功能。通过详细的需求分析,对项目整体功能进行模块划分,得到用户交互模块、数据预处理模块、推荐模型训练模块和推荐模型预测模块四大功能模块。其中,用户交互模块产生海量数据传到数据预处理模块;在数据预处理模块,应用大数据框架处理海量数据,离线和在线两条数据流的设计满足实时性要求;推荐模型训练模块实现商品特征Embedding预处理,并分别实现了离线批量和在线增量的分布式模型训练,满足处理海量数据和实时性的要求;推荐模型预测模块设计先召回后精排的两阶段模型,实现基于HNSW算法的双塔召回模型,创新性地提出PLE结合Transformer的精排模型,兼顾了实时性和模型精度。作者独立设计并完成了以下四个功能模块:(1)用户交互模块:使用SpringBoot和MyBatis设计并实现了商品展示、购物车、商品购买、个人信息管理、获取商品推荐等功能。(2)数据预处理模块:应用Lambda架构实现离线和在线两条数据流,其中离线批计算使用Spark框架,实时流计算使用Flink框架,得到用户和商品的正排、候选、倒排数据流。根据用户对推荐结果的反馈,使用Flink框架进行样本拼接,得到正负样本。(3)推荐模型训练模块:用Node2Vec模型对商品特征Embedding进行预训练。使用Parameter Server实现分布式训练机器学习模型,对精排模型进行离线全量和线上增量训练,并存储训练好的精排模型参数。(4)推荐模型预测模块:包括召回和精排两个环节。在召回环节,实现基于HNSW算法的双塔模型,得到向量化召回,并进行多路召回合并,结果输入到精排模型。在精排环节,读取已经训练好的精排模型参数,计算最后的排序结果,给用户返回推荐结果。为了更好地挖掘用户行为序列数据中隐藏的用户兴趣信息,本文创新性地提出PLE结合Transformer的精排模型,实验结果表明其在多个目标任务中优于传统精排模型。
云制造环境下车间生产大数据处理系统研究与开发
这是一篇关于制造资源虚拟化,数据采集和处理,Lambda架构,生产大数据,云制造系统的论文, 主要内容为随着工业4.0、中国制造2025等先进制造概念的深入推进,刺激着制造业向着数字化及智能化的方向发展,在这样的背景下,能否实现对车间生产数据的高效利用就显得尤为重要。传统制造车间存在着资源离散分布、功能特征表示不全、灵活性低等问题,这些缺陷极大地限制了车间的智能化发展。为此,本文通过研究云制造相关理论,设计并构建了一个集成多源异构生产数据采集、低延时数据传输和并行运行流式计算和批量计算的车间生产大数据处理系统。针对车间制造资源种类多样且形式各异的特点,通过设计资源虚拟化模型对制造资源进行统一描述。在制造资源分类结果和属性描述信息分析的基础上,利用建模工具构建了制造资源结构化模型,并通过设计资源创建界面用于接收用户定义的资源静态属性并基于XML语言封装成资源实例。同时,分别为每类生产数据开发合适的采集模块并设计边缘计算模块降低数据的传输量,通过设计抽象化数据接口提高系统的可扩展性和灵活性。为了克服车间传统数据系统中存在的数据传输高延迟和处理方式单一的问题,本文设计与开发了车间生产大数据传输和处理系统。采用分布式消息中间件Kafka构建数据传输系统框架,设计并开发一系列功能模块组件,实现了数据分流、消息过滤和易用的数据接收发送接口等功能。为了兼顾车间生产数据处理结果实时性和准确性的需求,基于Lambda架构设计生产大数据处理系统,能够并行运行流式计算和批量计算。通过开发生产状况监控模块对车间的生产环境、设备运行状态和工件加工流程等进行监控,实现车间生产状况的透明化。在上述研究基础上,完成了系统部署、性能测试评估以及资源虚拟化模块的设计。通过引入微服务架构部署系统,降低了各个功能模块之间的耦合度。对数据传输系统的吞吐量和平均延迟进行了测试,验证了系统的可用性。进一步,基于Spring Boot框架设计了资源创建和查询界面,通过与实验室现有的数据采集系统和数据处理系统结合,实现制造资源静态属性和动态属性的合并封装,提高了资源虚拟化模型的描述准确度。
基于深度学习的电商实时推荐系统的设计与实现
这是一篇关于推荐系统,PLE,Transformer,Lambda架构,Parameter Server的论文, 主要内容为对于当今互联网公司,推荐系统已经成为了业务增长的重要引擎。好的推荐服务能够提高用户满意度,有助于互联网公司实现商业化的目标。随着互联网业务的发展,推荐系统要求能够处理海量数据;要求推荐结果精度高,能够满足用户的兴趣;要求推荐结果具有实时性,能够实时捕捉用户兴趣的变化,及时更新推荐结果。针对以上三点要求,本论文设计并实现了基于深度学习的电商实时推荐系统。本论文设计的推荐系统实现了先召回后精准排序的推荐模型,同时实现了电商平台的基础功能。通过详细的需求分析,对项目整体功能进行模块划分,得到用户交互模块、数据预处理模块、推荐模型训练模块和推荐模型预测模块四大功能模块。其中,用户交互模块产生海量数据传到数据预处理模块;在数据预处理模块,应用大数据框架处理海量数据,离线和在线两条数据流的设计满足实时性要求;推荐模型训练模块实现商品特征Embedding预处理,并分别实现了离线批量和在线增量的分布式模型训练,满足处理海量数据和实时性的要求;推荐模型预测模块设计先召回后精排的两阶段模型,实现基于HNSW算法的双塔召回模型,创新性地提出PLE结合Transformer的精排模型,兼顾了实时性和模型精度。作者独立设计并完成了以下四个功能模块:(1)用户交互模块:使用SpringBoot和MyBatis设计并实现了商品展示、购物车、商品购买、个人信息管理、获取商品推荐等功能。(2)数据预处理模块:应用Lambda架构实现离线和在线两条数据流,其中离线批计算使用Spark框架,实时流计算使用Flink框架,得到用户和商品的正排、候选、倒排数据流。根据用户对推荐结果的反馈,使用Flink框架进行样本拼接,得到正负样本。(3)推荐模型训练模块:用Node2Vec模型对商品特征Embedding进行预训练。使用Parameter Server实现分布式训练机器学习模型,对精排模型进行离线全量和线上增量训练,并存储训练好的精排模型参数。(4)推荐模型预测模块:包括召回和精排两个环节。在召回环节,实现基于HNSW算法的双塔模型,得到向量化召回,并进行多路召回合并,结果输入到精排模型。在精排环节,读取已经训练好的精排模型参数,计算最后的排序结果,给用户返回推荐结果。为了更好地挖掘用户行为序列数据中隐藏的用户兴趣信息,本文创新性地提出PLE结合Transformer的精排模型,实验结果表明其在多个目标任务中优于传统精排模型。
基于深度学习的电商实时推荐系统的设计与实现
这是一篇关于推荐系统,PLE,Transformer,Lambda架构,Parameter Server的论文, 主要内容为对于当今互联网公司,推荐系统已经成为了业务增长的重要引擎。好的推荐服务能够提高用户满意度,有助于互联网公司实现商业化的目标。随着互联网业务的发展,推荐系统要求能够处理海量数据;要求推荐结果精度高,能够满足用户的兴趣;要求推荐结果具有实时性,能够实时捕捉用户兴趣的变化,及时更新推荐结果。针对以上三点要求,本论文设计并实现了基于深度学习的电商实时推荐系统。本论文设计的推荐系统实现了先召回后精准排序的推荐模型,同时实现了电商平台的基础功能。通过详细的需求分析,对项目整体功能进行模块划分,得到用户交互模块、数据预处理模块、推荐模型训练模块和推荐模型预测模块四大功能模块。其中,用户交互模块产生海量数据传到数据预处理模块;在数据预处理模块,应用大数据框架处理海量数据,离线和在线两条数据流的设计满足实时性要求;推荐模型训练模块实现商品特征Embedding预处理,并分别实现了离线批量和在线增量的分布式模型训练,满足处理海量数据和实时性的要求;推荐模型预测模块设计先召回后精排的两阶段模型,实现基于HNSW算法的双塔召回模型,创新性地提出PLE结合Transformer的精排模型,兼顾了实时性和模型精度。作者独立设计并完成了以下四个功能模块:(1)用户交互模块:使用SpringBoot和MyBatis设计并实现了商品展示、购物车、商品购买、个人信息管理、获取商品推荐等功能。(2)数据预处理模块:应用Lambda架构实现离线和在线两条数据流,其中离线批计算使用Spark框架,实时流计算使用Flink框架,得到用户和商品的正排、候选、倒排数据流。根据用户对推荐结果的反馈,使用Flink框架进行样本拼接,得到正负样本。(3)推荐模型训练模块:用Node2Vec模型对商品特征Embedding进行预训练。使用Parameter Server实现分布式训练机器学习模型,对精排模型进行离线全量和线上增量训练,并存储训练好的精排模型参数。(4)推荐模型预测模块:包括召回和精排两个环节。在召回环节,实现基于HNSW算法的双塔模型,得到向量化召回,并进行多路召回合并,结果输入到精排模型。在精排环节,读取已经训练好的精排模型参数,计算最后的排序结果,给用户返回推荐结果。为了更好地挖掘用户行为序列数据中隐藏的用户兴趣信息,本文创新性地提出PLE结合Transformer的精排模型,实验结果表明其在多个目标任务中优于传统精排模型。
基于深度学习的电商实时推荐系统的设计与实现
这是一篇关于推荐系统,PLE,Transformer,Lambda架构,Parameter Server的论文, 主要内容为对于当今互联网公司,推荐系统已经成为了业务增长的重要引擎。好的推荐服务能够提高用户满意度,有助于互联网公司实现商业化的目标。随着互联网业务的发展,推荐系统要求能够处理海量数据;要求推荐结果精度高,能够满足用户的兴趣;要求推荐结果具有实时性,能够实时捕捉用户兴趣的变化,及时更新推荐结果。针对以上三点要求,本论文设计并实现了基于深度学习的电商实时推荐系统。本论文设计的推荐系统实现了先召回后精准排序的推荐模型,同时实现了电商平台的基础功能。通过详细的需求分析,对项目整体功能进行模块划分,得到用户交互模块、数据预处理模块、推荐模型训练模块和推荐模型预测模块四大功能模块。其中,用户交互模块产生海量数据传到数据预处理模块;在数据预处理模块,应用大数据框架处理海量数据,离线和在线两条数据流的设计满足实时性要求;推荐模型训练模块实现商品特征Embedding预处理,并分别实现了离线批量和在线增量的分布式模型训练,满足处理海量数据和实时性的要求;推荐模型预测模块设计先召回后精排的两阶段模型,实现基于HNSW算法的双塔召回模型,创新性地提出PLE结合Transformer的精排模型,兼顾了实时性和模型精度。作者独立设计并完成了以下四个功能模块:(1)用户交互模块:使用SpringBoot和MyBatis设计并实现了商品展示、购物车、商品购买、个人信息管理、获取商品推荐等功能。(2)数据预处理模块:应用Lambda架构实现离线和在线两条数据流,其中离线批计算使用Spark框架,实时流计算使用Flink框架,得到用户和商品的正排、候选、倒排数据流。根据用户对推荐结果的反馈,使用Flink框架进行样本拼接,得到正负样本。(3)推荐模型训练模块:用Node2Vec模型对商品特征Embedding进行预训练。使用Parameter Server实现分布式训练机器学习模型,对精排模型进行离线全量和线上增量训练,并存储训练好的精排模型参数。(4)推荐模型预测模块:包括召回和精排两个环节。在召回环节,实现基于HNSW算法的双塔模型,得到向量化召回,并进行多路召回合并,结果输入到精排模型。在精排环节,读取已经训练好的精排模型参数,计算最后的排序结果,给用户返回推荐结果。为了更好地挖掘用户行为序列数据中隐藏的用户兴趣信息,本文创新性地提出PLE结合Transformer的精排模型,实验结果表明其在多个目标任务中优于传统精排模型。
公共交通一站式数据中台构建与应用
这是一篇关于公共交通,数据中台,Lambda架构,大数据生态,数据全链路服务的论文, 主要内容为随着城市智能化程度的推进,海量出行数据潜在价值急需挖掘开发,数据逐渐成为企业的重要资产,是赋能业务和推动产品创新的核心动力。以往由于缺乏整体战略性规划,导致数据在集成及使用上存在数据孤岛现象。其次,数据统计口径不一、数据标准不同等数据问题不断涌现,这些问题的存在使得后台系统无法快速响应前台业务,驱动业务创新与变革。数据中台将数据集中汇聚进行处理,构建可复用的共性能力和可共享的数据资产,从战略层面对数据进行管理,使数据真正成为企业资产。本文设计了公共交通一站式数据中台架构,利用其所提供的数据中台能力,基于深圳通刷卡数据实现数据全链路服务应用,最后针对性地对数据生成服务以及数据采集功能服务进行测试。通过从小场景高价值的数据集(即深圳通刷卡数据)入手,将数据中台能力应用于实际当中,快速验证了数据价值和数据中台能力。论文主要内容如下:(1)分析公共交通一站式数据中台功能需求和性能需求。基于功能需求和性能需求,软件选择上以Apache大数据生态开源软件为主,结合业内常用的一些大数据框架组件为辅,进行公共交通一站式数据中台整体架构设计。其整体基于数据平台能力、数据治理、数据挖掘与分析和数据服务应用四部分来进行设计,通过分层明确责任分工,使建设步骤清晰化和功能具体化,为业界提供了一种架构参考方案。(2)基于深圳通刷卡数据构建了数据全链路服务应用。在功能模块上,实现五个功能模块,分别是数据采集模块、离线数据分析模块、实时数据分析模块、数据治理模块和数据服务模块;围绕这五个功能模块,建立一站式数据全链路服务。在技术选用上,数据采集模块采用Flume实现多节点数据采集和汇总;离线数据分析模块采用HDFS+Spark+Hive实现数据仓库分层模型构建和数据分析;实时数据分析模块采用Kafka+Spark Structured Streaming实现实时数据指标计算;数据治理模块采用Atlas进行数据血缘构建;数据服务模块采用Ganglia监控Flume、Kafka-Eagle监控Kafka、DBeaver对Hive及My SQL进行离线/实时视图查询、Presto和Kylin进行即席查询以及Data Ease进行数据可视化大屏设计与实现。在架构设计上,本应用采用Lambda架构,通过流批分离处理实现复杂性隔离。整体框架设计具备一定容错性和鲁棒性,可较好展示一站式数据中台数据服务能力。(3)搭建数据中台测试环境并对相关功能进行测试,规划集群硬件环境和服务器各角色服务分配,在其上搭建软件服务,使其拥有通用平台服务能力,针对性地测试数据生成服务以及数据采集功能服务。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码导航 ，原文地址：https://bishedaima.com/lunwen/46495.html
