基于边缘节点集群的分布式存储技术研究
这是一篇关于分布式存储,边缘计算,存储即服务,去中心化,资源管理,边缘协作,小规模的论文, 主要内容为随着5G时代的来临和物联网(Internet of Things)的飞速发展,物联网智能设备不断普及,且数量飞速增加。各类监控器、感知器、包括人们日常使用的移动智能手机,每时每刻都在产生着大量的数据。硬件性能的提升使得互联网的边缘,大到宏基站,主交换机,小到网关服务器,边缘服务器甚至路由器等设备都具有了一定的计算和存储能力。因此,边缘计算的概念被提出来,将数据的实时计算和预处理从云端迁移到边缘,既减少了网络传输的带宽消耗,又降低了响应延迟。由于当前主流的对边缘计算的应用场景都是广域(wide-range)范围的,如智慧城市,车联网,城市计算等。然而,在一些小规模和区域性(local area)的应用场景中,如一个校园,一个停车场,一个工业园区甚至一栋写字楼中,这类小范围的应用场景中,也同样需要利用边缘节点的计算和存储资源来降低延迟,节省带宽。考虑到小范围的应用场景下,具有数据量小,资金有限等特征,因此,本文中,我们将研究一个去中心化的边缘存储架构,来利用边缘节点集群解决小规模应用场景下的存储问题。本文将存储抽象为服务(Storage as a Service),提出了一个去中心化的边缘存储服务DECS。本文首先对去中心化的边缘存储架构进行了设计,然后对DECS中的数据存储策略进行了研究,用户在读写数据之前会通过DECS中的权衡模块进行权衡,选择最优的边缘节点来读写数据,使得用户能够将数据写入到最有可能被消费的边缘节点,用户读取数据的时候能够有更低的延迟。随后本文介绍了DECS中的数据再平衡策略,我们为DECS设计了一个预测模块,该模块可以定时利用数据的历史访问热度,先验地构造机器学习模型预测数据未来一个时间段的访问量,预先为数据构建转发规则,并且对热点数据进行复制迁移与内容分发。转发规则的构建优化了数据的写入方向,而内容分发及副本策略则可以让热点数据能够更快的被访问到,二者都起到了降低用户读延迟的目的。同时DECS中的空间清理模块可以对边缘节点中的冗余的数据进行回收,节省边缘节点中的存储资源。本文对DECS的各个模块,包括元数据模块、数据存储模块、数据处理模块、预测模块、权衡模块以及空间回收模块均进行了详细地阐述,并且对于其中所利用到的算法、公式进行了细致地描述。随后本文使用微服务的方式,编码实现了DECS。对于DECS的实现细节,类实体设计,流程交互等方面,本文均进行了详细地介绍。最后本文使用docker容器的方式,将该存储服务DECS搭建成为一个去中心化的边缘节点集群。并且对该集群使用两个真实的小规模应用场景来进行实验和验证。本文的实验分别验证了DECS预测模块过滤器的必要性,预测模型的准确性。通过读访问延迟来验证了数据存储模块的以及权衡模块中各个算法的有效性,并且本文还通过边缘集群资源分布的均匀性来验证了DECS中的数据再平衡策略。通过与当前其他的边缘存储服务模型进行比较,证明了本文提出的去中心化的边缘存储服务DECS更加适用于资源有限且资源分布不均匀的小规模边缘集群。DECS起到了降低用户延迟,节省网络带宽和边缘集群资源的目的。
去中心化的纵向联邦逻辑回归系统的设计与实现
这是一篇关于联邦学习,逻辑回归,去中心化,分布式,CKKS Paillier的论文, 主要内容为当前,基于大量数据进行机器学习模型的训练是很多智能业务的基础。通常来说,数据条数和数据维度越多,所训练的模型就越准确。但是由于单个数据机构所拥有的数据量的限制,往往需要跨机构进行数据整合才能收集到足够的数据来训练一个性能良好的模型,但是在个人隐私和数据安全越来越被重视的今天,数据跨机构传输是一件十分危险的事。针对这个问题,数据科学家们提出用联邦学习的方法来解决,本论文主要关注的是纵向联邦学习场景的逻辑回归算法。目前提出的纵向联邦逻辑回归算法中,有两点不足:第一,有第三方的存在,两个参与训练的数据机构都需要将部分数据信息发给一个可信第三方,这些数据中包含许多敏感信息,将这些数据交给一个第三方,该第三方一旦出现数据泄露问题,后果不堪设想;第二,针对联邦学习中的使用同态加密算法,目前联邦学习的开源实现中大多采用的是Paillier半同态加密,这导致联邦训练的计算效率十分低下。针对第一个缺陷,本论文提出使用对梯度信息增加扰动的方式实现去中心化;针对第二个缺陷,本论文提出使用效率较高的CKKS全同态加密算法完成计算并设计实现了使用CKKS同态加密的纵向联邦逻辑回归计算过程。经过实验验证,本论文提出的去中心化的方式去除了可信第三方的参与;使用CKKS也使计算效率大幅提升。本论文基于软件工程开发流程和以上两点改进,针对去中心化的纵向联邦逻辑回归系统做了需求分析、概要设计以及原型实现,需求分析包括功能性需求分析和非功能性需求分析,在需求分析的基础上进行概要设计,将系统分为个人信息管理模块、数据信息管理模块、数据检索模块、参数检测模块、联邦训练模块、联邦预测模块、任务信息管理模块、加解密模块八个模块,并进行详细设计与实现。本论文对所提出的系统进行了开发测试,为数据参与方提供了去中心化的纵向联邦逻辑回归训练和预测功能,系统支持上传和修改个人数据信息、一方中断后另一方自动退出训练、在异常点继续训练任务、支持Paillier和CKKS两种同态加密方式、支持单机计算和分布式计算两种计算方式。
基于区块链的选举系统的设计与实现
这是一篇关于区块链,选举系统,去中心化的论文, 主要内容为选举作为人类社会中的一项重要活动,伴随着社会的不断发展、技术的不断进步以及生产力的不断提高,人类的选举方式也一直在进步,从举手站队投票、纸条投票,到高效率的传统网络投票,选举方式也一直在变化。然而传统的网络投票方式因为其中心化的特点,存在种种弊端:如投票结果可能会被篡改,投票人无法验证投票结果,且存在着投票人信息泄露的问题。本文研究的目的是基于区块链技术去中心化,数据不可篡改等特性,设计并实现一个选举系统,尽可能的解决传统投选系统的弊端,做到选举结果的公开透明,结果可验证,且在一定程度上实现投票匿名性,尽最大可能保障投票人的信息安全,从而使其具有更高的投票自由权。本系统整体上分为业务系统和底层存储系统。其中业务系统主要使用J2EE实现,引入了java中流行的SSM框架,以提高开发效率,另外还使用了redis缓存技术提高系统性能,前端方面主要使用了Vue等流行的前端开发框架。底层使用区块链存储投票信息,通过对底层区块链的封装,使得上层业务系统能够方便的使用区块链的能力。通过以上技术手段的综合使用,最终整体达到了设计该系统的初衷,即在实现该选举系统选举结果公开透明、不可篡改、可验证的同时,保证了该系统的稳定以及高效的特性。主要工作及成果包括以下方面:(1)基于区块链技术的选举系统的设计:其中业务系统主要分为管理模块、用户模块和选举模块三部分,以及相关的表结构设计等工作。另外根据该选举系统对底层区块链的需求,设计出一套区块链的接口规范,如:区块链地址生成,代币发行等。(2)基于区块链技术的选举系统的实现:首先搭建了项目的开发及运行环境,然后依据系统设计,实现相关功能,并进行部署,进行最终测试,经测试验证,该系统实现了本研究的目标。
基于区块链的可信电子拍卖研究
这是一篇关于区块链,电子拍卖,密封拍卖,群签名技术,智能合约,去中心化的论文, 主要内容为电子拍卖的出现极大地方便了人们的商务活动,带来了巨大的经济价值。然而,传统中心化的拍卖管理方式仍存在拍卖过程不透明、竞标人隐私信息泄露等问题,这些问题严重影响了电子拍卖的可信度。区块链具有去中心化、不可篡改以及公开透明的特点,为解决以上问题提供了新的思路。针对传统中心化拍卖存在的信任问题,本文研究了去中心化的、面向密封拍卖的可信电子拍卖相关技术和方案,主要的工作如下:(1)研究去中心化可信投标中采用群签名技术来保护竞标人的匿名性,使用佩德森承诺方案保护投标阶段标价的保密性。针对投标交易的真实性问题,参考比特币中交易验证方法,提出投标交易的真实性验证模型、投标交易计算以及真实性验证算法,并使用谓词逻辑推理方法证明交易验证算法的正确性。(2)研究去中心化可信开标中提出平衡区块链公开透明以及标价隐私保护的方法,基于群签名技术以及零知识范围证明,提出了中标结果计算以及中标发布交易的真实性验证算法。(3)设计了基于区块链的可信电子拍卖方案。分析方案功能需求并提出功能模型,提出了适用于电子拍卖领域的交易数据结构、区块结构以及链结构和具体功能模块。基于以上研究内容以及设计的方案进行仿真实验。基于FISCO BCOS区块链平台构建本地私有链,借助智能合约技术实现了设计方案的核心功能。在仿真环境下对本文提出的方案开展了功能测试,测试结果验证了本文方案的正确性。
基于区块链技术的版权登记系统设计与实现
这是一篇关于版权登记,去中心化,联盟链,属性基加密,访问控制的论文, 主要内容为随着数字内容产业的快速发展,越来越多的数字作品需要进行版权登记来维护创作者的权益。现有的数字作品大都是在权威机构集中式地确权登记,这种情况具有以下缺点:一方面,数字内容丰富的今天,大量的信息对中心化系统造成很大的负载;另一方面,中心化系统不但信息不透明,创作者在中心化系统中举证维权困难,而且付出与收益难成正比。区块链技术是数字货币的底层核心技术,具有去中心化、不可篡改、公开透明与点对点交易的特点,已广泛应用于各个领域。区块链技术经过不断演变,按照应用场景的不同分为公有链、联盟链与私有链三种形式。本文利用区块链技术解决版权领域中存在的系统中心化严重、登记信息不透明等问题。在传统数字版权领域,往往需要权威机构提供一定的公信力,因此本文将联盟链应用于数字版权领域。在版权登记过程中,通常存在某些用户的敏感身份信息只针对权威机构公开,因此在保证版权信息公开透明的同时,还需进一步保护用户隐私以提高访问控制效率。在联盟链中,每个用户的身份信息都可以通过一系列属性来描述,例如用户的所属组织、职位等,因此本文使用属性基加密来解决该问题。本文分析了联盟链的基础架构与工作流程,并深入研究了属性基加密的相关理论,提出了一个适用于联盟链、多中心的基于密文策略的属性基加密方案。本方案重新构造了访问树,引入属性类型的概念,赋予每个属性权重以体现属性在系统中的重要性,支持多授权中心,并且避免了单点失效的问题,更适用于联盟链。同时,本文使用Java语言实现了所提出的方案并给出性能分析。与其他同类方案相比,本方案不仅表达力强,而且在加解密过程中具有更高的效率。最后本文根据版权登记的应用需求,搭建基于超级账本Fabric的联盟链网络,使用Spring Boot+Mysql实现了一个基于联盟链的版权登记系统,并详细阐述了整个系统架构、工作流程与各个功能模块设计。本文将联盟链与属性基加密应用于数字版权领域,在保证版权信息公开透明的同时保证了用户的隐私,有效缓解了传统版权登记系统中心化程度高所带来的一系列问题。
基于区块链的物联网数据存储技术的研究
这是一篇关于区块链,物联网,数据安全,去中心化,共识算法的论文, 主要内容为智能感知、无线传输技术的快速发展正推动着万物互联时代的加速到来。智能交通、智慧医疗、智慧农业等物联网应用场景下的大量数据也得到了相关企业的青睐,不同企业组织渴望借助大数据、人工智能等数据处理技术帮助企业实现智能化模式调整与结构升级。然而由于物联网数据的存储与共享大多选择借助集中式云平台,该模式下的中心数据库需要面对海量数据的维护压力,一旦遭遇中心服务器故障,数据安全将得不到保障。此外不同组织间的云数据共享缺乏统一的数据存储规范与认证方式,导致跨组织的数据协作不便,因此急需寻找一种新的解决途径。区块链具备分布式的存储架构、账本数据集体维护、去信任、数据安全加密、不可篡改等技术特点,适合用来存储不同组织节点之间的数据,保证数据安全,实现组织间数据共享。本文在深入研究区块链技术特点的基础上,针对传统物联网数据存储环节的需求痛点,设计实现了一套与Hyperledger Fabric联盟链技术结合下的物联网数据存储的系统架构,基于Spring Boot、Vue.js等框架开发了面向多个物联网组织下不同身份用户的数据存储、共享的Web应用。具体研究了以下几点内容:1、调研了国内外的物联网数据存储研究的方案与现状,从数据采集到共享各环节的安全漏洞入手,详细分析了物联网数据存储的业务需求,从需求出发制定了 Fabric区块链网络结合下的不同组织参与的物联网数据存储系统架构。2、提出并设计了集区块链节点与物联网终端为一体的智能物联网网关以解决数据源的真实性方案,并基于该网关搭建了能力受限的感知设备的数据采集与传输网络。针对传统物联网数据存储中用户知情权、参与权受限的问题,设计建立了用户与设备之间的之间联系与操作管控。为了降低不同组织间的信任成本与认证成本,采用Fabric CA统一作为不同用户身份证书的管理机构,为用户提供一个放心、安全的数据共享环境。3、针对现有Fabric网络共识部署复杂度高,且不完全去中心化的问题,在分析系统用户需求及应用场景的基础上设计了适合于物联网场景下的分布式共识节点拓扑,提高了系统的容错能力。4、设计并实现了用户账户管理、数据存储、与区块链网络交互等模块的具体功能,基于MVC的设计思想及前后端分离的开发模式完成了整个系统的部署搭建,提升了系统的灵活和易维护性。
基于区块链的选举系统的设计与实现
这是一篇关于区块链,选举系统,去中心化的论文, 主要内容为选举作为人类社会中的一项重要活动,伴随着社会的不断发展、技术的不断进步以及生产力的不断提高,人类的选举方式也一直在进步,从举手站队投票、纸条投票,到高效率的传统网络投票,选举方式也一直在变化。然而传统的网络投票方式因为其中心化的特点,存在种种弊端:如投票结果可能会被篡改,投票人无法验证投票结果,且存在着投票人信息泄露的问题。本文研究的目的是基于区块链技术去中心化,数据不可篡改等特性,设计并实现一个选举系统,尽可能的解决传统投选系统的弊端,做到选举结果的公开透明,结果可验证,且在一定程度上实现投票匿名性,尽最大可能保障投票人的信息安全,从而使其具有更高的投票自由权。本系统整体上分为业务系统和底层存储系统。其中业务系统主要使用J2EE实现,引入了java中流行的SSM框架,以提高开发效率,另外还使用了redis缓存技术提高系统性能,前端方面主要使用了Vue等流行的前端开发框架。底层使用区块链存储投票信息,通过对底层区块链的封装,使得上层业务系统能够方便的使用区块链的能力。通过以上技术手段的综合使用,最终整体达到了设计该系统的初衷,即在实现该选举系统选举结果公开透明、不可篡改、可验证的同时,保证了该系统的稳定以及高效的特性。主要工作及成果包括以下方面:(1)基于区块链技术的选举系统的设计:其中业务系统主要分为管理模块、用户模块和选举模块三部分,以及相关的表结构设计等工作。另外根据该选举系统对底层区块链的需求,设计出一套区块链的接口规范,如:区块链地址生成,代币发行等。(2)基于区块链技术的选举系统的实现:首先搭建了项目的开发及运行环境,然后依据系统设计,实现相关功能,并进行部署,进行最终测试,经测试验证,该系统实现了本研究的目标。
基于区块链的物联网数据存储技术的研究
这是一篇关于区块链,物联网,数据安全,去中心化,共识算法的论文, 主要内容为智能感知、无线传输技术的快速发展正推动着万物互联时代的加速到来。智能交通、智慧医疗、智慧农业等物联网应用场景下的大量数据也得到了相关企业的青睐,不同企业组织渴望借助大数据、人工智能等数据处理技术帮助企业实现智能化模式调整与结构升级。然而由于物联网数据的存储与共享大多选择借助集中式云平台,该模式下的中心数据库需要面对海量数据的维护压力,一旦遭遇中心服务器故障,数据安全将得不到保障。此外不同组织间的云数据共享缺乏统一的数据存储规范与认证方式,导致跨组织的数据协作不便,因此急需寻找一种新的解决途径。区块链具备分布式的存储架构、账本数据集体维护、去信任、数据安全加密、不可篡改等技术特点,适合用来存储不同组织节点之间的数据,保证数据安全,实现组织间数据共享。本文在深入研究区块链技术特点的基础上,针对传统物联网数据存储环节的需求痛点,设计实现了一套与Hyperledger Fabric联盟链技术结合下的物联网数据存储的系统架构,基于Spring Boot、Vue.js等框架开发了面向多个物联网组织下不同身份用户的数据存储、共享的Web应用。具体研究了以下几点内容:1、调研了国内外的物联网数据存储研究的方案与现状,从数据采集到共享各环节的安全漏洞入手,详细分析了物联网数据存储的业务需求,从需求出发制定了 Fabric区块链网络结合下的不同组织参与的物联网数据存储系统架构。2、提出并设计了集区块链节点与物联网终端为一体的智能物联网网关以解决数据源的真实性方案,并基于该网关搭建了能力受限的感知设备的数据采集与传输网络。针对传统物联网数据存储中用户知情权、参与权受限的问题,设计建立了用户与设备之间的之间联系与操作管控。为了降低不同组织间的信任成本与认证成本,采用Fabric CA统一作为不同用户身份证书的管理机构,为用户提供一个放心、安全的数据共享环境。3、针对现有Fabric网络共识部署复杂度高,且不完全去中心化的问题,在分析系统用户需求及应用场景的基础上设计了适合于物联网场景下的分布式共识节点拓扑,提高了系统的容错能力。4、设计并实现了用户账户管理、数据存储、与区块链网络交互等模块的具体功能,基于MVC的设计思想及前后端分离的开发模式完成了整个系统的部署搭建,提升了系统的灵活和易维护性。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:毕业设计工坊 ,原文地址:https://bishedaima.com/lunwen/45323.html