区块链监管平台中数据采集子系统的设计与实现
这是一篇关于区块链监管,数据采集,微服务,大数据存储,插件的论文, 主要内容为目前,区块链技术正在飞速发展,区块链的应用场景不断扩大,涵盖了金融、公共服务、信息安全、供应链等领域,搭建在各种区块链上的区块链应用也争相涌现。但是,随着区块链技术的发展和应用场景的扩大,随之而来的各种风险也在产生,比如盗币、洗钱和各种网络犯罪等。区块链技术是一把双刃剑,所以,必须要对其进行监管,才能让区块链技术的应用向着良性的方向发展。区块链的链上数据量十分庞大,如果依赖人工进行手动监管,其成本和效率都是令人难以接受的,所以自动化监管势在必行。想要对区块链和区块链应用进行监管,那么就要根据链上数据来识别风险,所以监管的第一步就是需要从不同链、不同应用上将数据采集回来,以便后续的计算,数据采集子系统就是这重要的第一步。针对以上需求,本文设计并且实现了区块链总监管平台中的数据采集子系统。论文对数据采集子系统,进行了功能需求分析,将系统功能划分为两个功能,包括被监管应用配置信息管理和采集任务管理,详细分析了每个功能的用例,并且提出了系统非功能性需求。给出了数据采集子系统的总体设计。根据微服务架构,将数据采集子系统划分为五个子服务包,并且基于以上划分给出了系统的层次架构,然后进行了关系型数据库和非关系数据库的设计。描述了数据采集子系统的详细设计,根据总体设计中划分的五个子服务,利用时序图、类图、流程图等工具,分别对每个子服务进行的业务流程进行了设计与实现。论文给出了数据采集子系统的功能测试和性能评测的结果,该系统能够根据配置要求定时采集指定区块链应用的数据然后进行大数据存储,并且能够在保证子系统的可用性的前提下,利用插件机制进行少量开发,就能接入新的异构区块链,达到保障系统的可用性以及扩展性的目的。
区块链监管平台中数据采集子系统的设计与实现
这是一篇关于区块链监管,数据采集,微服务,大数据存储,插件的论文, 主要内容为目前,区块链技术正在飞速发展,区块链的应用场景不断扩大,涵盖了金融、公共服务、信息安全、供应链等领域,搭建在各种区块链上的区块链应用也争相涌现。但是,随着区块链技术的发展和应用场景的扩大,随之而来的各种风险也在产生,比如盗币、洗钱和各种网络犯罪等。区块链技术是一把双刃剑,所以,必须要对其进行监管,才能让区块链技术的应用向着良性的方向发展。区块链的链上数据量十分庞大,如果依赖人工进行手动监管,其成本和效率都是令人难以接受的,所以自动化监管势在必行。想要对区块链和区块链应用进行监管,那么就要根据链上数据来识别风险,所以监管的第一步就是需要从不同链、不同应用上将数据采集回来,以便后续的计算,数据采集子系统就是这重要的第一步。针对以上需求,本文设计并且实现了区块链总监管平台中的数据采集子系统。论文对数据采集子系统,进行了功能需求分析,将系统功能划分为两个功能,包括被监管应用配置信息管理和采集任务管理,详细分析了每个功能的用例,并且提出了系统非功能性需求。给出了数据采集子系统的总体设计。根据微服务架构,将数据采集子系统划分为五个子服务包,并且基于以上划分给出了系统的层次架构,然后进行了关系型数据库和非关系数据库的设计。描述了数据采集子系统的详细设计,根据总体设计中划分的五个子服务,利用时序图、类图、流程图等工具,分别对每个子服务进行的业务流程进行了设计与实现。论文给出了数据采集子系统的功能测试和性能评测的结果,该系统能够根据配置要求定时采集指定区块链应用的数据然后进行大数据存储,并且能够在保证子系统的可用性的前提下,利用插件机制进行少量开发,就能接入新的异构区块链,达到保障系统的可用性以及扩展性的目的。
区块链监管平台中数据采集子系统的设计与实现
这是一篇关于区块链监管,数据采集,微服务,大数据存储,插件的论文, 主要内容为目前,区块链技术正在飞速发展,区块链的应用场景不断扩大,涵盖了金融、公共服务、信息安全、供应链等领域,搭建在各种区块链上的区块链应用也争相涌现。但是,随着区块链技术的发展和应用场景的扩大,随之而来的各种风险也在产生,比如盗币、洗钱和各种网络犯罪等。区块链技术是一把双刃剑,所以,必须要对其进行监管,才能让区块链技术的应用向着良性的方向发展。区块链的链上数据量十分庞大,如果依赖人工进行手动监管,其成本和效率都是令人难以接受的,所以自动化监管势在必行。想要对区块链和区块链应用进行监管,那么就要根据链上数据来识别风险,所以监管的第一步就是需要从不同链、不同应用上将数据采集回来,以便后续的计算,数据采集子系统就是这重要的第一步。针对以上需求,本文设计并且实现了区块链总监管平台中的数据采集子系统。论文对数据采集子系统,进行了功能需求分析,将系统功能划分为两个功能,包括被监管应用配置信息管理和采集任务管理,详细分析了每个功能的用例,并且提出了系统非功能性需求。给出了数据采集子系统的总体设计。根据微服务架构,将数据采集子系统划分为五个子服务包,并且基于以上划分给出了系统的层次架构,然后进行了关系型数据库和非关系数据库的设计。描述了数据采集子系统的详细设计,根据总体设计中划分的五个子服务,利用时序图、类图、流程图等工具,分别对每个子服务进行的业务流程进行了设计与实现。论文给出了数据采集子系统的功能测试和性能评测的结果,该系统能够根据配置要求定时采集指定区块链应用的数据然后进行大数据存储,并且能够在保证子系统的可用性的前提下,利用插件机制进行少量开发,就能接入新的异构区块链,达到保障系统的可用性以及扩展性的目的。
基于HDFS数据存储方法研究及其在构建行业大数据平台上的实现
这是一篇关于大数据存储,HDFS,Hadoop,可视化系统的论文, 主要内容为随着大数据、人工智能、云计算等技术的快速发展,电子商务、商业智能、大数据分析等技术的市场化应用,针对于海量数据存储有了较高要求,并随着数据量激增而不断调整。在如今的信息时代,数据随处可见并且逐日递增,往往这些数据来源复杂、存放分散,各应用业务系统也彼此独立,从而形成一个个信息孤岛。为了更好的收集与存储海量数据,确保数据的安全性,同时完善对数据的管理使其在大数据时代能够更好地为企业、社会以及科学研究提供便利,就需要建立一个统一的数据中心。本文以重庆大学大数据与软件学院分布式计算实验室与重庆市中冶赛迪公司合作的大数据平台项目为课题背景,研发了一套能够在行业中广泛应用的大数据平台,并将其部署在Hadoop集群上。该平台主要使用HDFS(Hadoop Distributed File System)存储智慧城市以及智能制造领域产生的海量数据,并通过Sqoop和相关ETL工具完成海量数据的集成以及清洗工作,其次完成可视化系统的开发,最后进行海量数据测试,验证平台的稳定性。本文完成的主要研究工作及取得的最终成果包括:(1)通过对HDFS存储机制以及HDFS高可用机制的研究,对早期解决HDFS中Name Node单点故障问题的方案(元数据备份方案、Secondary Name Node方案、Backup Node方案以及Avatar Node方案)进行描述并比对,对现阶段高可用解决方案进行了详细分析并且提出了优化方案,提出了基于Hadoop2.X改进的高可用方案,并对优化后的方案进行相关主备节点切换测试进行验证。最后为了检验该平台能够在存储海量数据的情况下稳定运行,进行了海量数据测试实验,验证达到预期效果。(2)采用大数据生态组件Sqoop,完成数据迁移,主要完成了数据到HDFS、Hive、HBase的迁移工作,实现各种数据源的整合,便于全局数据分析。(3)采用Kettle对企业中存在的海量数据进行定制化清洗,去除与企业决策无关的数据、脏数据以及噪声数据,具体功能包括残缺数据处理、重复数据处理、数据合并以及数据转换。(4)完成数据的集成以及清洗后,基于HDFS分布式文件系统完成可视化平台的设计与实现。本文的可视化系统主要使用Spring Boot开发框架搭建,主要功能包括单点登录、数据库连接、数据集生成等功能。
影视大数据分析系统中数据存储的关键问题研究与实现
这是一篇关于大数据存储,架构设计,数据分片,集群设计,分布式访问的论文, 主要内容为随着互联网应用的广泛普及,越来越多的应用程序收集了大量的数据,伴随着这些数据的增长,系统的访问量和并发量都在剧烈增加,系统性能问题愈发严重。随着大数据时代到来,无论是传统企业还是新型的互联网企业,都不可避免的面临大数据的挑战。如何廉价的存储和高效的访问海量数据,已经是企业面临的重大难题。本文中所指的影视大数据分析系统是指本人所在实验室设计开发的一个基于SpringMVC + MyBatis框架的Web信息系统,就数据库架构设计而言是一个典型的单机存储系统。随着影视大数据分析系统中业务表越来越多,表中的数据量也越来越大。海量数据的存储与访问对数据库造成了相当大的负载,数据处理能力和访问效率均遭遇瓶颈。本文针对影视大数据快速增长的特点,从分布式数据库的角度出发,探索如何将单机存储系统扩展为分布式存储系统。本文的主要工作集中在以下几个方面:第一,介绍大数据背景和现有的大规模分布式存储系统,对现有的NoSQL数据库进行了分类总结,研究其设计思想。第二,基于MySQL Sharding技术,设计了高效、可扩展的存储架构;提出了分库、水平分表、分区三层拆分模型,综合使用垂直和水平切分等多种解决方案将数据散列到不同的库或关系表中。同时,就ORM框架设计了分布式数据访问层,有效的缓解了对数据库的压力,提高了数据访问效率。第三,分析各节点的数据特点,使用数据库复制技术,设计了高可用的集群方案;解决单点问题,采用Amoeba开源框架实现读写分离和负载均衡。综上,本文从可扩展性,访问效率,并发读写,高可用等多个方面,阐述了大数据存储中面临的关键问题,并提出了相应的解决方案。同时立足影视大数据分析系统,对本文中提到基于分布式关系型数据库的高效存储和访问方案,在实践上予以了验证。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计工坊 ，原文地址：https://bishedaima.com/lunwen/46344.html
