城镇小区用户用能数据中台设计与实现
这是一篇关于用户用能,数据中台,实时采集,数据清洗的论文, 主要内容为2015年国家发改委提出,建设跨行业能源运行动态数据集成平台,鼓励能源与信息基础设施共享复用。构建以供电公司为主导的小区用户侧能耗管理系统,以实现能源监测,减少能源浪费,提升用户服务质量。但由于用户侧的电、水和气等能源自成体系,形成多态的能源数据形式,存在数据类型不一致,业务不协同的问题,从大量的能耗数据中掌握用户用能情况具有一定困难。因此,开发适用于小区用户侧能耗管理的数据中台,显得十分必要。本课题来源于供电公司科技项目,论文设计了一种城镇小区用户用能数据中台形式,对数据清洗算法进行研究并提出了高斯混合模型的改进算法,对该数据中台开发实现并部署在某市小区试运行。本文的主要工作如下:(1)分析城镇小区用户用能数据中台的功能性需求以及非功能性需求,提出一种数据中台架构,其整体的架构包括数据采集、数据服务、数据存储和数据展示四部分。(2)针对用户侧能耗数据存在异常值的问题,提出一种改进GMM的数据清洗算法。采用粒子群算法对求解参数进行优化,并采用循环雅克比和QR分解算法求解协方差矩阵。结果表明,无论是清洗效果还是各项指标,改进算法相较于原有算法都有更好数据清洗能力,保证了数据质量。(3)开发城镇小区用户用能数据中台。使用类图、时序图和流程图详细设计了数据中台对Mongo DB数据库、My SQL数据库、本地文件、FTP服务器文件的初始化采集和增量采集,增量采集使用数据库日志抽取方式实现;详细设计了字段处理、数据过滤和数据校验部分,实现了中台的数据处理功能。最后设计并进行了功能和非功能测试实验,证明了数据中台的可行性。本文所开发的某市供电公司小区用户用能数据中台,完成了实地部署,测试效果表明本文的设计方案合理有效,为供电公司实现用户侧用电优化管理奠定了基础,具有一定借鉴作用。
基于边缘计算的数据获取与处理系统设计与实现
这是一篇关于边缘计算,云计算,数据处理,数据清洗的论文, 主要内容为随着物联网、5G、区块链、车联网、传感器等电子、信息、通信技术的飞速发展,各类数据量的增长呈指数态势,海量数据对计算处理能力和速度的要求也与日俱增。云计算技术通过数据中心内的大量高性能服务器为用户提供几乎无限的计算能力,是大数据分析处理的重要解决方案之一。然而,云计算也存在着网络时延大、成本高以及安全隐私等一系列问题,无法适应所有的大数据分析、处理要求。例如,在工业生产、运营等场景中,对事故、故障、突发情况的实时响应非常重要;在网络数据抓取场景中,数据传输成本则较为敏感。针对上述问题,本论文对云计算和大数据技术进行研究分析,提出了一种基于边缘计算的数据获取与处理系统架构并针对两种具体场景进行了系统设计实现,利用靠近用户的边缘计算/存储设备并结合云计算提供低时延、高处理能力的数据获取、处理与分析方案。本论文主要研究成果包含以下几个方面:首先,本文通过分析现有技术和研究现状,对比当前云计算技术在实际使用中存在的问题,探讨并设计了以边缘设备与云计算中心结合而成的新型边缘计算框架的软硬件方案以及相关的通信方式。最终确立了以树莓派作为边缘设备,通过Socket通信连接的边缘计算总体方案。该系统可以满足多种应用场景的任务需求,提升了设备使用的广泛性并且节约了硬件资源和设备成本。其次,针对人体行为识别的场景,设计并实现了基于边缘计算的人体行为数据采集、处理和分析系统。在本方案中,在通过将IMU采集到的人体行为数据做清洗和结构化处理后,利用Xgboost对相应的监测对象的行为进行分类和建模,再利用边缘设备的分布式计算对这些模型进行修正,从而实现了一种具有效率高、低能耗、反应快等特点的人体行为识别系统,验证了当前计算框架对于物理数据处理的适用度。最后,针对互联网中的海量数据,设计并实现了基于边缘计算框架的文献数据爬取和处理系统。通过将过于庞大的,单台设备无法短时间完成的爬取任务分割为多个小型任务,将其动态派发给云计算中心控制下的边缘设备来完成,加快了网络数据采集的速度。另外通过该爬虫系统对IEEE Xplore网站中存储的所有文献的相关信息进行提取和在云端的存储,展现了该系统在当前网络环境下对于大量的网络数据的抓取和处理能力,也再次验证了本文所提出的边缘计算架构的可行性。
城镇小区用户用能数据中台设计与实现
这是一篇关于用户用能,数据中台,实时采集,数据清洗的论文, 主要内容为2015年国家发改委提出,建设跨行业能源运行动态数据集成平台,鼓励能源与信息基础设施共享复用。构建以供电公司为主导的小区用户侧能耗管理系统,以实现能源监测,减少能源浪费,提升用户服务质量。但由于用户侧的电、水和气等能源自成体系,形成多态的能源数据形式,存在数据类型不一致,业务不协同的问题,从大量的能耗数据中掌握用户用能情况具有一定困难。因此,开发适用于小区用户侧能耗管理的数据中台,显得十分必要。本课题来源于供电公司科技项目,论文设计了一种城镇小区用户用能数据中台形式,对数据清洗算法进行研究并提出了高斯混合模型的改进算法,对该数据中台开发实现并部署在某市小区试运行。本文的主要工作如下:(1)分析城镇小区用户用能数据中台的功能性需求以及非功能性需求,提出一种数据中台架构,其整体的架构包括数据采集、数据服务、数据存储和数据展示四部分。(2)针对用户侧能耗数据存在异常值的问题,提出一种改进GMM的数据清洗算法。采用粒子群算法对求解参数进行优化,并采用循环雅克比和QR分解算法求解协方差矩阵。结果表明,无论是清洗效果还是各项指标,改进算法相较于原有算法都有更好数据清洗能力,保证了数据质量。(3)开发城镇小区用户用能数据中台。使用类图、时序图和流程图详细设计了数据中台对Mongo DB数据库、My SQL数据库、本地文件、FTP服务器文件的初始化采集和增量采集,增量采集使用数据库日志抽取方式实现;详细设计了字段处理、数据过滤和数据校验部分,实现了中台的数据处理功能。最后设计并进行了功能和非功能测试实验,证明了数据中台的可行性。本文所开发的某市供电公司小区用户用能数据中台,完成了实地部署,测试效果表明本文的设计方案合理有效,为供电公司实现用户侧用电优化管理奠定了基础,具有一定借鉴作用。
基于大数据驱动的消防远程监控软件设计与实现
这是一篇关于智慧消防,远程监控系统,数据清洗,机器学习的论文, 主要内容为火灾是自然界中经常发生的自然灾害,近年来发生的多次特大火灾给人们一次又一次深刻的教训。随着现代经济的发展,城市规模的扩大,建筑物高度和复杂程度越来越高,建筑的火灾危险系数也随之提高,传统的火灾自动控制系统和消防设施的弊端也愈加明显。近年来科学技术的发展和国家颁布的政策,推动了传统消防向智慧消防的发展,本文即在消防大数据到来的时代背景下,完成了基于大数据驱动的消防远程监控软件系统。本文设计实现了一个基于大数据驱动的消防远程监控系统,可以用来监测接入物联网中的各种消防设备的运行状态。系统采用了基于Spring Boot和Vue的系统架构,根据系统需求进行整体设计,完成了身份认证模块、数据处理模块、算法识别模块和数据展示模块,实现了远程监控我国某市的消防设备运行情况和分析历史数据。针对目前消防系统中,火警误报率较高的问题,提出了基于机器学习的火警分类方法,将火警信号分为类火警误报和故障型误报,同时将火警信号分为不同的等级,便于将有限的消防资源物尽其用,从此角度解决高误报率带来的问题。另外,针对消防设备中大量的故障报警,同样采用机器学习中聚类的方法,将故障报警分为掉线故障、设备损坏故障和回路型故障,用于辅助消防维保公司进行故障排查,缓解每年百万级别故障报警带来的设备维护压力。最后,对系统进行完整功能性测试,测试本系统各个模块的功能,系统能够基本可靠地运行,各个模块达到了预期的目标。
城镇小区用户用能数据中台设计与实现
这是一篇关于用户用能,数据中台,实时采集,数据清洗的论文, 主要内容为2015年国家发改委提出,建设跨行业能源运行动态数据集成平台,鼓励能源与信息基础设施共享复用。构建以供电公司为主导的小区用户侧能耗管理系统,以实现能源监测,减少能源浪费,提升用户服务质量。但由于用户侧的电、水和气等能源自成体系,形成多态的能源数据形式,存在数据类型不一致,业务不协同的问题,从大量的能耗数据中掌握用户用能情况具有一定困难。因此,开发适用于小区用户侧能耗管理的数据中台,显得十分必要。本课题来源于供电公司科技项目,论文设计了一种城镇小区用户用能数据中台形式,对数据清洗算法进行研究并提出了高斯混合模型的改进算法,对该数据中台开发实现并部署在某市小区试运行。本文的主要工作如下:(1)分析城镇小区用户用能数据中台的功能性需求以及非功能性需求,提出一种数据中台架构,其整体的架构包括数据采集、数据服务、数据存储和数据展示四部分。(2)针对用户侧能耗数据存在异常值的问题,提出一种改进GMM的数据清洗算法。采用粒子群算法对求解参数进行优化,并采用循环雅克比和QR分解算法求解协方差矩阵。结果表明,无论是清洗效果还是各项指标,改进算法相较于原有算法都有更好数据清洗能力,保证了数据质量。(3)开发城镇小区用户用能数据中台。使用类图、时序图和流程图详细设计了数据中台对Mongo DB数据库、My SQL数据库、本地文件、FTP服务器文件的初始化采集和增量采集,增量采集使用数据库日志抽取方式实现;详细设计了字段处理、数据过滤和数据校验部分,实现了中台的数据处理功能。最后设计并进行了功能和非功能测试实验,证明了数据中台的可行性。本文所开发的某市供电公司小区用户用能数据中台,完成了实地部署,测试效果表明本文的设计方案合理有效,为供电公司实现用户侧用电优化管理奠定了基础,具有一定借鉴作用。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设驿站 ，原文地址：https://bishedaima.com/lunwen/45453.html
