基于时序数据库的智慧电能管理微服务平台研究与设计

这是一篇关于电力数据管理,微服务,gRPC,时序数据库,InfluxDB的论文, 主要内容为电力制度体系的深度变革与智能电网建设的快速发展,使得电力行业业务范围不断扩大、采集点和电力数据不断增多。本研究实地调研了湖北某电力公司目前正在使用的电力信息管理系统,该系统主要存在以下两个方面的问题:一方面,该电力公司管理的电力数据基数大、增长快,导致现有电力信息管理系统时常出现数据读写缓慢、数据库崩溃等问题。另一方面,该电力公司业务需求扩张迅速,业务模块的不断拓展将使得现有电力信息管理系统臃肿不堪,出现了代码繁杂、管理不方便等问题。这样发展下去,甚至可能导致系统瘫痪。故而,灵活拓展电力信息管理系统的业务功能模块、缓解数据库读写压力以提高电力数据分析的有效性显得尤为迫切。针对上述问题,本研究提出搭建一个基于时序数据库的智慧电能管理微服务平台。该平台是因应湖北某电力公司对电力数据管理和业务管理的实际需求而开发的,以满足电力企业对系统信息进行高效数据分析、易维护、易拓展、敏捷开发的要求。本研究主要工作如下:(1)设计并创建了智慧电能管理微服务平台的架构体系。首先,通过对热门的微服务架构进行效果比对分析,本研究最终选择了支持技术异构的g RPC微服务框架。然后,结合湖北某电力公司的业务需求对平台功能模块进行了细致拆分,并完成了服务的注册与发现、服务网关、配置中心、负载均衡策略以及服务通信等基础微服务功能的方案设计与实现。最后,搭建并部署了智慧电能管理微服务平台微服务组件。(2)分析并设计了智慧电能管理微服务平台中的数据存储方式。首先,通过对热门的数据库产品的优劣势进行比对分析,本研究提出了将时序数据库Influx DB、关系数据库My SQL和缓存数据库Redis相结合的方案,使之共同作用于系统数据的存储。其次,先用拉格朗日插值法对传感器采集到的电力时序数据进行处理,再用RLE、Gorilla算法对数据压缩并进行压缩率测试。最后,对各数据库存储进行包括缓存设计、Influx DB存储设计和My SQL表设计在内的相应设计。(3)构建并实现了智慧电能管理微服务平台。首先,根据湖北某电力公司的实际情况,完成了需求分析,对平台进行了总体设计。然后,使用前后端分离方式以基于Vue、Python Flask、Influx DB和g RPC等技术实现了平台各种服务。同时,重点展示了电力数据管理、设备管理、运维管理和站点定位等核心功能。最后,进行了充分的系统功能与性能测试。据项目实际开发与测试情况来看,本研究开发的基于时序数据库的智慧电能管理微服务平台运行平稳。针对目前湖北某电力公司的电力信息管理系统存在的数据库随时面临崩溃、系统功能难以拓展等问题,时序数据库技术可有效减轻数据读写压力,且微服务架构使得平台的后期横向拓展更加灵活高效。总之,基于时序数据库的智慧电能管理微服务平台的研究与设计较好的解决了电力企业信息管理的痛点,有一定的实践意义和应用价值。

针对Vala语言的gRPC相关工具设计及实现

这是一篇关于数据序列化,远程过程调用,gRPC,Vala语言的论文, 主要内容为现代电子信息产业的逐渐发展,电子测量的规模不断扩大,测试流程日趋复杂,对高性能的电子测量仪器程控需求与日剧增。Vala是一种新兴的编程语言,它效率高,性能好、运行速度快,与底层硬件系统兼容性好的同时还具有高级语言抽象和便捷的语法特性,是嵌入式、电子测量开发的优秀编程语言。对于现代测量而言,模块化、网络化、远程化已经成为现代电子测量的重要需求和发展趋势。而近年来,面向服务的系统架构和微服务架构在很多计算机软件系统中广泛应用,为电子测量提供了新的契机,将一个电子测量系统的不同测试模块由不同服务的形式呈现,这离不开RPC(Remote Procedure Call)框架的软件支持。gRPC是谷歌开发的一款RPC框架,该框架提供了众多语言之间的RPC功能交互,如Python、Java,但并未提供Vala语言的RPC支持。Protocol Buffer是与gRPC匹配的序列化机制,用于解决RPC数据传输中的序列化问题,但也未包含Vala语言的支持。本文着笔于此,结合Vala语言在现代电子测量领域的优势和现代电子测量的需求和趋势,设计了一种针对Vala语言的gRPC软件工具,实现了Vala语言对gRPC框架的支持,研究如下:(1)本文设计了一种基于Protocol Buffer序列化机制的Vala语言的序列化库,该序列化库采用分层设计的思想,根据Protocol Buffer机制特有的编码算法,以底层的编解码模块为基础,将核心基类和属性注册机制相结合,为所有的派生类提供了数据的序列化和反序列化方法,最终根据用户定义的proto文件生成可用Vala库文件,实现了Vala语言序列化软件工具的功能。该序列化库能将二进制信息序列与Vala语言进行相互转换,可用于数据传输或RPC等场景,为实现Vala语言的远程过程调用提供了软件支撑。(2)在Vala语言的序列化库的基础上,本文设计了的Vala语言的gRPC库,通过将Vala语言特有的Vapi机制与gRPC核心库中的核心底层API进行接口适配,Vala语言得以使用C语言实现的gRPC底层功能接口。通过分层设计和模块化设计的软件设计思想,本设计将底层逻辑抽象为上层应用程序可用的、包含了RPC中主要功能行为的客户端和服务端基类,用户通过继承这些功能基类即可实现RPC功能。将该软件库和gRPC框架相结合,即可实现Vala语言与其他编程语言的远程过程调用,Vala语言程控的电子测量设备就可通过该软件工具与其他上层应用软件实现远程过程调用、远程测试、模块化测试等。

基于时序数据库的智慧电能管理微服务平台研究与设计

这是一篇关于电力数据管理,微服务,gRPC,时序数据库,InfluxDB的论文, 主要内容为电力制度体系的深度变革与智能电网建设的快速发展,使得电力行业业务范围不断扩大、采集点和电力数据不断增多。本研究实地调研了湖北某电力公司目前正在使用的电力信息管理系统,该系统主要存在以下两个方面的问题:一方面,该电力公司管理的电力数据基数大、增长快,导致现有电力信息管理系统时常出现数据读写缓慢、数据库崩溃等问题。另一方面,该电力公司业务需求扩张迅速,业务模块的不断拓展将使得现有电力信息管理系统臃肿不堪,出现了代码繁杂、管理不方便等问题。这样发展下去,甚至可能导致系统瘫痪。故而,灵活拓展电力信息管理系统的业务功能模块、缓解数据库读写压力以提高电力数据分析的有效性显得尤为迫切。针对上述问题,本研究提出搭建一个基于时序数据库的智慧电能管理微服务平台。该平台是因应湖北某电力公司对电力数据管理和业务管理的实际需求而开发的,以满足电力企业对系统信息进行高效数据分析、易维护、易拓展、敏捷开发的要求。本研究主要工作如下:(1)设计并创建了智慧电能管理微服务平台的架构体系。首先,通过对热门的微服务架构进行效果比对分析,本研究最终选择了支持技术异构的g RPC微服务框架。然后,结合湖北某电力公司的业务需求对平台功能模块进行了细致拆分,并完成了服务的注册与发现、服务网关、配置中心、负载均衡策略以及服务通信等基础微服务功能的方案设计与实现。最后,搭建并部署了智慧电能管理微服务平台微服务组件。(2)分析并设计了智慧电能管理微服务平台中的数据存储方式。首先,通过对热门的数据库产品的优劣势进行比对分析,本研究提出了将时序数据库Influx DB、关系数据库My SQL和缓存数据库Redis相结合的方案,使之共同作用于系统数据的存储。其次,先用拉格朗日插值法对传感器采集到的电力时序数据进行处理,再用RLE、Gorilla算法对数据压缩并进行压缩率测试。最后,对各数据库存储进行包括缓存设计、Influx DB存储设计和My SQL表设计在内的相应设计。(3)构建并实现了智慧电能管理微服务平台。首先,根据湖北某电力公司的实际情况,完成了需求分析,对平台进行了总体设计。然后,使用前后端分离方式以基于Vue、Python Flask、Influx DB和g RPC等技术实现了平台各种服务。同时,重点展示了电力数据管理、设备管理、运维管理和站点定位等核心功能。最后,进行了充分的系统功能与性能测试。据项目实际开发与测试情况来看,本研究开发的基于时序数据库的智慧电能管理微服务平台运行平稳。针对目前湖北某电力公司的电力信息管理系统存在的数据库随时面临崩溃、系统功能难以拓展等问题,时序数据库技术可有效减轻数据读写压力,且微服务架构使得平台的后期横向拓展更加灵活高效。总之,基于时序数据库的智慧电能管理微服务平台的研究与设计较好的解决了电力企业信息管理的痛点,有一定的实践意义和应用价值。

面向ROADM设备的RPC系统的设计与实现

这是一篇关于gRPC,ROADM,protobuf,模块化和分层的论文, 主要内容为在信息技术快速发展的今天,随着5G、VR等新兴技术的出现,光网络传输的业务量正在以指数级别增长,对光网络数据传输速率和吞吐量的要求也日渐提高。DWDM(密集波分复用)实现了不同波长的信号同时传输,大大提高了光网络传输效率。ROADM(可重构光分插复用器)设备作为DWDM技术实现的核心设备,可以实现任意波长上下路和业务管理的功能。传统的ROADM系统在软件方面普遍使用REST API协议,其基于HTTP/1.1协议,在传输性能方面具有一定的局限性且资源占用率高。gRPC是google公司研究并开发的一种高性能、开源的RPC协议,其基于HTTP/2协议,可以实现多路复用,并且使用Protobuf技术对数据进行序列化和反序列化,压缩率高。本文结合gRPC协议的优势和ROADM设备的特点,并引入模块化和分层设计的思想,设计并且实现了一套面向ROADM设备的RPC系统,有效提高了ROADM设备信息的传输性能、降低传输响应时间、简化了系统的开发流程、降低了系统的耦合性。本文的主要工作如下:(1)进行了ROADM RPC系统中gRPC协议架构的设计与实现,其中包括proto文件设计,gRPC客户端、gRPC服务端的设计以及gRPC整个服务启动的设计等,该步骤实现了在ROADM设备中使用gRPC协议进行传输。(2)进行了ROADM RPC系统相关的模块设计,包括ROADM系统启动模块设计,ROADM系统命令行接口设计以及APL(应用层)和HAL(硬件抽象层)的设计。实现了完整的ROADM系统的所需的相关模块,结合gRPC协议进行整个ROADM设备的信息传递和设备控制。(3)结合ROADM设备进行系统测试,包括面向ROADM设备的RPC系统的可行性测试以及不同传输协议的性能比较测试,实验结果验证了所设计的RPC系统的有效性和适用性,相较使用REST API传输协议,ROADM RPC系统能提高序列化性能,降低系统响应时间,对提高ROADM设备和DWDM系统的性能和实现灵活组网具有重要意义。

基于时序数据库的智慧电能管理微服务平台研究与设计

这是一篇关于电力数据管理,微服务,gRPC,时序数据库,InfluxDB的论文, 主要内容为电力制度体系的深度变革与智能电网建设的快速发展,使得电力行业业务范围不断扩大、采集点和电力数据不断增多。本研究实地调研了湖北某电力公司目前正在使用的电力信息管理系统,该系统主要存在以下两个方面的问题:一方面,该电力公司管理的电力数据基数大、增长快,导致现有电力信息管理系统时常出现数据读写缓慢、数据库崩溃等问题。另一方面,该电力公司业务需求扩张迅速,业务模块的不断拓展将使得现有电力信息管理系统臃肿不堪,出现了代码繁杂、管理不方便等问题。这样发展下去,甚至可能导致系统瘫痪。故而,灵活拓展电力信息管理系统的业务功能模块、缓解数据库读写压力以提高电力数据分析的有效性显得尤为迫切。针对上述问题,本研究提出搭建一个基于时序数据库的智慧电能管理微服务平台。该平台是因应湖北某电力公司对电力数据管理和业务管理的实际需求而开发的,以满足电力企业对系统信息进行高效数据分析、易维护、易拓展、敏捷开发的要求。本研究主要工作如下:(1)设计并创建了智慧电能管理微服务平台的架构体系。首先,通过对热门的微服务架构进行效果比对分析,本研究最终选择了支持技术异构的g RPC微服务框架。然后,结合湖北某电力公司的业务需求对平台功能模块进行了细致拆分,并完成了服务的注册与发现、服务网关、配置中心、负载均衡策略以及服务通信等基础微服务功能的方案设计与实现。最后,搭建并部署了智慧电能管理微服务平台微服务组件。(2)分析并设计了智慧电能管理微服务平台中的数据存储方式。首先,通过对热门的数据库产品的优劣势进行比对分析,本研究提出了将时序数据库Influx DB、关系数据库My SQL和缓存数据库Redis相结合的方案,使之共同作用于系统数据的存储。其次,先用拉格朗日插值法对传感器采集到的电力时序数据进行处理,再用RLE、Gorilla算法对数据压缩并进行压缩率测试。最后,对各数据库存储进行包括缓存设计、Influx DB存储设计和My SQL表设计在内的相应设计。(3)构建并实现了智慧电能管理微服务平台。首先,根据湖北某电力公司的实际情况,完成了需求分析,对平台进行了总体设计。然后,使用前后端分离方式以基于Vue、Python Flask、Influx DB和g RPC等技术实现了平台各种服务。同时,重点展示了电力数据管理、设备管理、运维管理和站点定位等核心功能。最后,进行了充分的系统功能与性能测试。据项目实际开发与测试情况来看,本研究开发的基于时序数据库的智慧电能管理微服务平台运行平稳。针对目前湖北某电力公司的电力信息管理系统存在的数据库随时面临崩溃、系统功能难以拓展等问题,时序数据库技术可有效减轻数据读写压力,且微服务架构使得平台的后期横向拓展更加灵活高效。总之,基于时序数据库的智慧电能管理微服务平台的研究与设计较好的解决了电力企业信息管理的痛点,有一定的实践意义和应用价值。

基于时序数据库的智慧电能管理微服务平台研究与设计

这是一篇关于电力数据管理,微服务,gRPC,时序数据库,InfluxDB的论文, 主要内容为电力制度体系的深度变革与智能电网建设的快速发展,使得电力行业业务范围不断扩大、采集点和电力数据不断增多。本研究实地调研了湖北某电力公司目前正在使用的电力信息管理系统,该系统主要存在以下两个方面的问题:一方面,该电力公司管理的电力数据基数大、增长快,导致现有电力信息管理系统时常出现数据读写缓慢、数据库崩溃等问题。另一方面,该电力公司业务需求扩张迅速,业务模块的不断拓展将使得现有电力信息管理系统臃肿不堪,出现了代码繁杂、管理不方便等问题。这样发展下去,甚至可能导致系统瘫痪。故而,灵活拓展电力信息管理系统的业务功能模块、缓解数据库读写压力以提高电力数据分析的有效性显得尤为迫切。针对上述问题,本研究提出搭建一个基于时序数据库的智慧电能管理微服务平台。该平台是因应湖北某电力公司对电力数据管理和业务管理的实际需求而开发的,以满足电力企业对系统信息进行高效数据分析、易维护、易拓展、敏捷开发的要求。本研究主要工作如下:(1)设计并创建了智慧电能管理微服务平台的架构体系。首先,通过对热门的微服务架构进行效果比对分析,本研究最终选择了支持技术异构的g RPC微服务框架。然后,结合湖北某电力公司的业务需求对平台功能模块进行了细致拆分,并完成了服务的注册与发现、服务网关、配置中心、负载均衡策略以及服务通信等基础微服务功能的方案设计与实现。最后,搭建并部署了智慧电能管理微服务平台微服务组件。(2)分析并设计了智慧电能管理微服务平台中的数据存储方式。首先,通过对热门的数据库产品的优劣势进行比对分析,本研究提出了将时序数据库Influx DB、关系数据库My SQL和缓存数据库Redis相结合的方案,使之共同作用于系统数据的存储。其次,先用拉格朗日插值法对传感器采集到的电力时序数据进行处理,再用RLE、Gorilla算法对数据压缩并进行压缩率测试。最后,对各数据库存储进行包括缓存设计、Influx DB存储设计和My SQL表设计在内的相应设计。(3)构建并实现了智慧电能管理微服务平台。首先,根据湖北某电力公司的实际情况,完成了需求分析,对平台进行了总体设计。然后,使用前后端分离方式以基于Vue、Python Flask、Influx DB和g RPC等技术实现了平台各种服务。同时,重点展示了电力数据管理、设备管理、运维管理和站点定位等核心功能。最后,进行了充分的系统功能与性能测试。据项目实际开发与测试情况来看,本研究开发的基于时序数据库的智慧电能管理微服务平台运行平稳。针对目前湖北某电力公司的电力信息管理系统存在的数据库随时面临崩溃、系统功能难以拓展等问题,时序数据库技术可有效减轻数据读写压力,且微服务架构使得平台的后期横向拓展更加灵活高效。总之,基于时序数据库的智慧电能管理微服务平台的研究与设计较好的解决了电力企业信息管理的痛点,有一定的实践意义和应用价值。

面向ROADM设备的RPC系统的设计与实现

这是一篇关于gRPC,ROADM,protobuf,模块化和分层的论文, 主要内容为在信息技术快速发展的今天,随着5G、VR等新兴技术的出现,光网络传输的业务量正在以指数级别增长,对光网络数据传输速率和吞吐量的要求也日渐提高。DWDM(密集波分复用)实现了不同波长的信号同时传输,大大提高了光网络传输效率。ROADM(可重构光分插复用器)设备作为DWDM技术实现的核心设备,可以实现任意波长上下路和业务管理的功能。传统的ROADM系统在软件方面普遍使用REST API协议,其基于HTTP/1.1协议,在传输性能方面具有一定的局限性且资源占用率高。gRPC是google公司研究并开发的一种高性能、开源的RPC协议,其基于HTTP/2协议,可以实现多路复用,并且使用Protobuf技术对数据进行序列化和反序列化,压缩率高。本文结合gRPC协议的优势和ROADM设备的特点,并引入模块化和分层设计的思想,设计并且实现了一套面向ROADM设备的RPC系统,有效提高了ROADM设备信息的传输性能、降低传输响应时间、简化了系统的开发流程、降低了系统的耦合性。本文的主要工作如下:(1)进行了ROADM RPC系统中gRPC协议架构的设计与实现,其中包括proto文件设计,gRPC客户端、gRPC服务端的设计以及gRPC整个服务启动的设计等,该步骤实现了在ROADM设备中使用gRPC协议进行传输。(2)进行了ROADM RPC系统相关的模块设计,包括ROADM系统启动模块设计,ROADM系统命令行接口设计以及APL(应用层)和HAL(硬件抽象层)的设计。实现了完整的ROADM系统的所需的相关模块,结合gRPC协议进行整个ROADM设备的信息传递和设备控制。(3)结合ROADM设备进行系统测试,包括面向ROADM设备的RPC系统的可行性测试以及不同传输协议的性能比较测试,实验结果验证了所设计的RPC系统的有效性和适用性,相较使用REST API传输协议,ROADM RPC系统能提高序列化性能,降低系统响应时间,对提高ROADM设备和DWDM系统的性能和实现灵活组网具有重要意义。

镜像构建系统的设计与实现

这是一篇关于Docker,gRPC,镜像构建,微服务,Go语言的论文, 主要内容为随着Docker的逐渐普及,以及各大主流云平台对于Docker的支持,还有Docke「集群能力的提高,通过Docker部署微服务的应用模式已逐渐被大大小小的互联网公司,软件开发公司等所应用。笔者实习的公司主要做流式计算以及云平台的建设,公司的应用程序主要使用Kubernetes以及Docker运行部署。但是在使用Docke将应用程序构建成Docker镜像时,容易遇见一些问题。例如在下载一些大型资源或者被墙资源时,耗时较长,乃至经常失败。同时,对于Docker Private Registry的管理也常常因为一些开发者的不规范使用陷入一些复杂的情况,甚至有的开发者将一些有用的镜像给覆盖掉了。因此需要一个部署运行于Kubernetes集群的Docker镜像构建系统,用来完成公司各种应用的Docker镜像构建与管理。通过统一的优化与管理,规范对Docker Private Registry的使用,方便开发者对于Docker镜像的创建和使用。系统帮助用户构建Docker镜像时脱离单机环境,随时随地在一个稳定的集群中进行镜像的构建,用户甚至可以通过手机完成Docker镜像的构建。同时,通过对一些热门资源的缓存,配置网络代理来提高Docker镜像构建的速度和成功率。系统使用Go语言开发,各个模块独立运行于各自的Docker容器中,相互间通过gRPC通信协作。整个系统对外提供RESTfulAPI,以此完成镜像构建,查看日志等各种功能。

面向ROADM设备的RPC系统的设计与实现

这是一篇关于gRPC,ROADM,protobuf,模块化和分层的论文, 主要内容为在信息技术快速发展的今天,随着5G、VR等新兴技术的出现,光网络传输的业务量正在以指数级别增长,对光网络数据传输速率和吞吐量的要求也日渐提高。DWDM(密集波分复用)实现了不同波长的信号同时传输,大大提高了光网络传输效率。ROADM(可重构光分插复用器)设备作为DWDM技术实现的核心设备,可以实现任意波长上下路和业务管理的功能。传统的ROADM系统在软件方面普遍使用REST API协议,其基于HTTP/1.1协议,在传输性能方面具有一定的局限性且资源占用率高。gRPC是google公司研究并开发的一种高性能、开源的RPC协议,其基于HTTP/2协议,可以实现多路复用,并且使用Protobuf技术对数据进行序列化和反序列化,压缩率高。本文结合gRPC协议的优势和ROADM设备的特点,并引入模块化和分层设计的思想,设计并且实现了一套面向ROADM设备的RPC系统,有效提高了ROADM设备信息的传输性能、降低传输响应时间、简化了系统的开发流程、降低了系统的耦合性。本文的主要工作如下:(1)进行了ROADM RPC系统中gRPC协议架构的设计与实现,其中包括proto文件设计,gRPC客户端、gRPC服务端的设计以及gRPC整个服务启动的设计等,该步骤实现了在ROADM设备中使用gRPC协议进行传输。(2)进行了ROADM RPC系统相关的模块设计,包括ROADM系统启动模块设计,ROADM系统命令行接口设计以及APL(应用层)和HAL(硬件抽象层)的设计。实现了完整的ROADM系统的所需的相关模块,结合gRPC协议进行整个ROADM设备的信息传递和设备控制。(3)结合ROADM设备进行系统测试,包括面向ROADM设备的RPC系统的可行性测试以及不同传输协议的性能比较测试,实验结果验证了所设计的RPC系统的有效性和适用性,相较使用REST API传输协议,ROADM RPC系统能提高序列化性能,降低系统响应时间,对提高ROADM设备和DWDM系统的性能和实现灵活组网具有重要意义。