面向广域测量系统不良数据的实时处理系统的设计和开发
这是一篇关于广域测量系统,实时数据处理,不良数据检测和恢复,皮尔逊相关系数,局部异常因子的论文, 主要内容为广域测量系统(Wide-Area Measurement System,WAMS)中提供的数据在如今的电力系统中已经有了诸多的应用,具有实时采集和上传等优良特征。然而,部分从相量测量单元(Phasor Measurement Unit,PMU)中采样得到的数据与WAMS数据中心汇总后得到的数据存在差异,实际获得的数据存在数据丢失、采样值偏差和跳变等的数据质量问题,形成不良数据,这些数据质量问题会使得各种高级应用性能大打折扣。为了充分挖掘和利用WAMS数据的使用价值,需要能够实时在线对WAMS不良数据进行检测并将其恢复为原来的采样数据,以提高WAMS的数据质量。为了能够在线对WAMS不良数据进行检测和恢复,首先对WAMS历史数据进行研究,分析并得到WAMS的数据特征,提出时间相关性和空间相关性的定义。随后从该特征出发提出不良数据的检测和恢复方法,在检测方法中使用皮尔逊相关系数来计算采样点之间的空间相关性,通过局部异常因子(Local Outlier Factor,LOF)算法来进行不良数据的检测,并使用箱线图来动态确定LOF算法的阈值。随后为了对检测出的不良数据进行恢复,提出基于插值思想并融合了采样点之间空间相关性的数据恢复方法。通过模拟数据和实测历史数据的测试证明了该方法能够有效检测WAMS不良数据并进行快速恢复,在计算方面能够满足在线处理WAMS数据的实时性要求。为了能够在实际生产环境中对WAMS数据质量进行提升,基于Flink设计并实现了WAMS实时数据处理系统。该系统实现了数据的输入输出、不良数据的检测和恢复、日志记录和汇总等功能,实现了对WAMS不良数据进行检测和恢复的一整套流程。实测该系统能够在线对WAMS数据进行不良数据的检测和恢复,且在性能上满足线上应用对WAMS数据的实时性要求,由系统数据处理造成的额外延迟不会对后续的应用使用WAMS数据进行实时分析和处理造成影响。
面向广域测量系统不良数据的实时处理系统的设计和开发
这是一篇关于广域测量系统,实时数据处理,不良数据检测和恢复,皮尔逊相关系数,局部异常因子的论文, 主要内容为广域测量系统(Wide-Area Measurement System,WAMS)中提供的数据在如今的电力系统中已经有了诸多的应用,具有实时采集和上传等优良特征。然而,部分从相量测量单元(Phasor Measurement Unit,PMU)中采样得到的数据与WAMS数据中心汇总后得到的数据存在差异,实际获得的数据存在数据丢失、采样值偏差和跳变等的数据质量问题,形成不良数据,这些数据质量问题会使得各种高级应用性能大打折扣。为了充分挖掘和利用WAMS数据的使用价值,需要能够实时在线对WAMS不良数据进行检测并将其恢复为原来的采样数据,以提高WAMS的数据质量。为了能够在线对WAMS不良数据进行检测和恢复,首先对WAMS历史数据进行研究,分析并得到WAMS的数据特征,提出时间相关性和空间相关性的定义。随后从该特征出发提出不良数据的检测和恢复方法,在检测方法中使用皮尔逊相关系数来计算采样点之间的空间相关性,通过局部异常因子(Local Outlier Factor,LOF)算法来进行不良数据的检测,并使用箱线图来动态确定LOF算法的阈值。随后为了对检测出的不良数据进行恢复,提出基于插值思想并融合了采样点之间空间相关性的数据恢复方法。通过模拟数据和实测历史数据的测试证明了该方法能够有效检测WAMS不良数据并进行快速恢复,在计算方面能够满足在线处理WAMS数据的实时性要求。为了能够在实际生产环境中对WAMS数据质量进行提升,基于Flink设计并实现了WAMS实时数据处理系统。该系统实现了数据的输入输出、不良数据的检测和恢复、日志记录和汇总等功能,实现了对WAMS不良数据进行检测和恢复的一整套流程。实测该系统能够在线对WAMS数据进行不良数据的检测和恢复,且在性能上满足线上应用对WAMS数据的实时性要求,由系统数据处理造成的额外延迟不会对后续的应用使用WAMS数据进行实时分析和处理造成影响。
基于多源异构数据的推荐系统研究与设计
这是一篇关于推荐系统,矩阵分解,神经网络,多源异构,实时数据处理的论文, 主要内容为互联网的快速发展以及线上内容的不断丰富促使人们步入大数据时代,数据的快速增长带来了严重的“信息过载”问题。用户难以从海量的数据中获取自己需要的信息,信息发布者难以找到与自己发布的内容相匹配的客户,推荐系统应运而生。此外,软件系统日趋复杂,网络内容日益丰富,推荐系统的数据来源和数据结构也更加多样化。在线数据和离线数据并存,非结构化数据在数据总量中的占比越来越大,推荐系统将面临多方面的挑战。本文根据由You Tube提出的召回-排序推荐系统架构建立能够整合实时流式数据源和本地离线数据源的召回模型,融合结构化数据和非结构化数据的排序模型。在召回模型中,本文根据基于矩阵分解技术的协同过滤方法的模型更新方式,采用增量更新参数的方法,提高推荐模型的效率和准确性;排序模型则考虑到异构数据的输入编码方式和数据分布,使用了卷积神经网络,注意力和Inception等机制融合各类数据。该系统整合了现阶段主流的实时数据处理组件(Fluem、Kafka)和流式数据计算引擎Flink,运用了高效的协同过滤推荐模型和精确的深度学习推荐模型。各类组件和算法取长补短,相得益彰,从而提高推荐系统的性能。本论文的主要工作内容如下:1、基于Flink和矩阵分解模型构建增量更新的召回模型,该模型整合在线增量数据和离线数据,此外融入注意力共享矩阵,提高召回模型的准确性和计算速度。2、构建基于深度学习的排序算法,该模型使用卷积神经网络,注意力机制以及Inception机制,整合文本数据,离散型数据以及连续性数据等各类多源异构数据,提高排序阶段的算法准确度。3、本文基于微服务框架,使用日志收集组件Flume、流式数据计算引擎Flink和消息队列Kafka构建了一套实时,高容错,可拓展的推荐系统。
基于多源异构数据的推荐系统研究与设计
这是一篇关于推荐系统,矩阵分解,神经网络,多源异构,实时数据处理的论文, 主要内容为互联网的快速发展以及线上内容的不断丰富促使人们步入大数据时代,数据的快速增长带来了严重的“信息过载”问题。用户难以从海量的数据中获取自己需要的信息,信息发布者难以找到与自己发布的内容相匹配的客户,推荐系统应运而生。此外,软件系统日趋复杂,网络内容日益丰富,推荐系统的数据来源和数据结构也更加多样化。在线数据和离线数据并存,非结构化数据在数据总量中的占比越来越大,推荐系统将面临多方面的挑战。本文根据由You Tube提出的召回-排序推荐系统架构建立能够整合实时流式数据源和本地离线数据源的召回模型,融合结构化数据和非结构化数据的排序模型。在召回模型中,本文根据基于矩阵分解技术的协同过滤方法的模型更新方式,采用增量更新参数的方法,提高推荐模型的效率和准确性;排序模型则考虑到异构数据的输入编码方式和数据分布,使用了卷积神经网络,注意力和Inception等机制融合各类数据。该系统整合了现阶段主流的实时数据处理组件(Fluem、Kafka)和流式数据计算引擎Flink,运用了高效的协同过滤推荐模型和精确的深度学习推荐模型。各类组件和算法取长补短,相得益彰,从而提高推荐系统的性能。本论文的主要工作内容如下:1、基于Flink和矩阵分解模型构建增量更新的召回模型,该模型整合在线增量数据和离线数据,此外融入注意力共享矩阵,提高召回模型的准确性和计算速度。2、构建基于深度学习的排序算法,该模型使用卷积神经网络,注意力机制以及Inception机制,整合文本数据,离散型数据以及连续性数据等各类多源异构数据,提高排序阶段的算法准确度。3、本文基于微服务框架,使用日志收集组件Flume、流式数据计算引擎Flink和消息队列Kafka构建了一套实时,高容错,可拓展的推荐系统。
基于多源异构数据的推荐系统研究与设计
这是一篇关于推荐系统,矩阵分解,神经网络,多源异构,实时数据处理的论文, 主要内容为互联网的快速发展以及线上内容的不断丰富促使人们步入大数据时代,数据的快速增长带来了严重的“信息过载”问题。用户难以从海量的数据中获取自己需要的信息,信息发布者难以找到与自己发布的内容相匹配的客户,推荐系统应运而生。此外,软件系统日趋复杂,网络内容日益丰富,推荐系统的数据来源和数据结构也更加多样化。在线数据和离线数据并存,非结构化数据在数据总量中的占比越来越大,推荐系统将面临多方面的挑战。本文根据由You Tube提出的召回-排序推荐系统架构建立能够整合实时流式数据源和本地离线数据源的召回模型,融合结构化数据和非结构化数据的排序模型。在召回模型中,本文根据基于矩阵分解技术的协同过滤方法的模型更新方式,采用增量更新参数的方法,提高推荐模型的效率和准确性;排序模型则考虑到异构数据的输入编码方式和数据分布,使用了卷积神经网络,注意力和Inception等机制融合各类数据。该系统整合了现阶段主流的实时数据处理组件(Fluem、Kafka)和流式数据计算引擎Flink,运用了高效的协同过滤推荐模型和精确的深度学习推荐模型。各类组件和算法取长补短,相得益彰,从而提高推荐系统的性能。本论文的主要工作内容如下:1、基于Flink和矩阵分解模型构建增量更新的召回模型,该模型整合在线增量数据和离线数据,此外融入注意力共享矩阵,提高召回模型的准确性和计算速度。2、构建基于深度学习的排序算法,该模型使用卷积神经网络,注意力机制以及Inception机制,整合文本数据,离散型数据以及连续性数据等各类多源异构数据,提高排序阶段的算法准确度。3、本文基于微服务框架,使用日志收集组件Flume、流式数据计算引擎Flink和消息队列Kafka构建了一套实时,高容错,可拓展的推荐系统。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码驿站 ，原文地址：https://bishedaima.com/lunwen/54838.html
