5个研究背景和意义示例,教你写计算机纠删码论文

今天分享的是关于纠删码的5篇计算机毕业论文范文, 如果你的论文涉及到纠删码等主题,本文能够帮助到你

基于自编码的Memcached系统性能优化方案设计与实现

这是一篇关于内存键值存储系统,纠删码,内存存储开销,扩展性能的论文, 主要内容为随着大数据技术的高速发展,越来越多的应用需要高吞吐、低延迟的缓存存储系统支持——通常由内存键值存储系统构成,比如被大量企业所采用的Memcached。但是,在类似Memcached的分布式内存存储集群中,节点故障或网络拥塞频发,导致数据在内存集群中可靠性不足。这使得系统不得不频繁访问后台磁盘节点,从而导致存储服务性能的降低。因此,内存键值存储系统的高可靠性保障对存储系统整体性能起到关键作用。相较于传统高存储开销的副本技术,纠删码技术作为低存储开销和高可靠性的数据冗余技术,正逐渐部署于包括Memcached在内的各类内存键值存储系统中。目前在Memcached应用的纠删码方案都仅适用于小对象,而无法有效处理在大数据分析中所产生的大对象工作负载。针对这个问题,首先设计了一个基于自编码的Memcached框架,通过对单个大对象等分后的数据块进行编码并构建条带,从而有效保障系统可靠性。同时,针对Memcached本身的“slab allocation”内存分配机制会产生内部碎片,而自编码方案会造成更多的内部碎片的问题,提出一种自适应编码参数调节算法,通过调整编码参数6)6)来降低内部碎片,提高内存存储效率,并保障可靠性不降低。另外,设计了块混合分布优化方案,以提高系统扩展性能和数据存储平衡性;以及校验块附加读优化方案,以提升尾延迟严重场景下的降级读性能。基于以上设计和优化方案,实现了基于Memcached的自编码内存键值存储系统(ASMem),并从数值分析和实验测试两个方面评估了系统的基础读写I/O性能、降级读性能、内存存储效率、扩展性能和数据平衡性。在雅虎云服务基准(YCSB)工作负载下,同传统的EC-Cache和Dynamo对比,ASMem降低了超过20%的内存存储开销,提高了15倍的扩展性能和38.8%的数据存储平衡性,同时保持了良好的基础I/O性能和降级读性能。

面向许可链的状态分片研究

这是一篇关于区块链,状态分片,状态迁移,纠删码,向量承诺的论文, 主要内容为随着区块链2.0平台的出现,智能合约成为了区块链的核心,区块链系统需要管理供智能合约访问的状态数据。这使得区块链系统的每个节点完整保留一份数据副本的全复制存储方式受到了巨大的挑战,尤其在吞吐率较高的许可链场景中这一问题显得尤为重要。近来,也有研究人员对离线区块数据采用拜占庭容错的分片存储来缓解这一问题。而状态数据,由于受到防篡改数据结构的约束,很难直接分片存储。本文主要解决区块链系统中的状态分片问题,而这一问题又被分解为状态数据本身分片,以及状态迁移过程分片两个问题。具体来说,围绕状态分片这一问题,本文主要完成了以下三项工作:(1)针对受数据结构约束的状态数据存储过大的问题,本文提出了一种多版本状态分片策略。通过一种结合PBFT的二维纠删码编码机制,减少节点存储的状态总量的同时保证分片后状态的可用性,并且提升了状态不可用时数据的恢复性能。同时提出一种轻量级的状态可验证结构VC-Tree,通过使用Vector Commitment构建树型的可验证结构来代替默克尔树,减少了验证对象的大小的同时减少了构建读写状态证明的时间复杂度。(2)针对状态迁移过程及其索引存储过大的问题,提出可验证和索引解耦的无索引可验证状态迁移过程存储结构,实现了状态迁移过程的存储分片以及存储分片下的无索引读写,降低了状态迁移过程以及其索引带来的存储开销,提高了其在分片存储下的可验证读写效率。(3)综合区块链在状态及其迁移过程的存储问题,本文结合提出的关键技术,设计并实现了一种支持状态分片的区块链系统SP-Chain,减少了节点的存储开销,并提高了在存储分片下状态及其状态迁移过程的可验证读写效率。同时也通过大量实验证明了本文工作的有效性。综上所述,本文针对状态及其迁移过程存储的问题,提出了一种多版本状态分片策略以及一种可验证和索引解耦的无索引可验证存储结构,降低了区块链状态及其迁移过程的存储开销的同时提升了在分片下状态及其迁移过程可验证读写的性能。最后,将上述成果应用于自行设计的区块链系统中,通过实验验证了成果的有效性。

基于FPGA的软硬件协同纠删码存储系统编译码性能优化

这是一篇关于FPGA,分布式存储,纠删码,RS码,柯西RS码的论文, 主要内容为随着互联网的快速发展和数据规模的不断增大,传统的集中式存储系统已经无法容纳各个领域产生的海量数据。因此,分布式存储系统得到了广泛应用。分布式存储系统将数据分散存储在多个存储节点上,通过网络进行调度和通信,实现对海量数据的高效存储和管理。然而在分布式存储系统中,因节点故障、网络故障等问题导致的数据失效已成为常态化问题,如何保证数据的完整性和可靠性是目前面临的重大挑战。纠删码容错技术是一种在分布式存储中被广泛采用的数据容错技术,该技术的基本思想是将原始数据分成若干相同大小的数据块,通过对数据块进行编码计算生成若干与数据块大小相同的冗余块,称为校验块,将数据块和校验块分别存储在不同存储节点上。当系统中某些节点发生故障时,通过对剩余节点上的数据进行译码计算,可恢复丢失数据,从而提高存储系统的可靠性。纠删码容错技术与另一种广泛应用于分布式存储系统中的容错技术——多副本容错技术相比,不仅能显著降低数据存储成本,还能提供更高的数据可靠性和安全性。然而,纠删码技术在实现数据容错的过程中,不可避免的引入了更多计算开销,增加了编码和译码时延,导致数据写入和数据修复吞吐量降低,最终导致存储系统读写性能下降。对此,本文提出了一种基于FPGA的纠删码加速优化的设计与实现,本文的主要创新性内容包括以下两个方面:(1)针对纠删码技术在编码过程中时间开销大,数据写入吞吐量较低的问题,提出基于FPGA的软硬件协同纠删码编码加速方案。首先,设计了基于FPGA的纠删码算法架构(FPGA-EC),利用FPGA的高速并行计算优势,对RS码(Reed-Solomon code)算法进行硬件加速并且实现了并行处理和时序优化;然后,在FPGA上拓展片外DDR3接口用于数据缓存,提高数据通信的可靠性,利用其随机存取特性实现对数据的分片操作;最后,设计了基于FPGA的软硬件协同纠删码原型存储系统进行实验验证。(2)在FPGA-EC架构基础上进行改进,设计并实现了面向容错存储系统的柯西RS码编译码加速方案,进一步提升编码性能并实现了译码计算功能。首先提出了一种分级并行计算结构,优化缓存数据读取时序和柯西RS码编译码过程中的异或逻辑运算;然后通过基于校验矩阵的柯西RS码译码算法,降低译码过程中矩阵求逆的复杂度,并利用FPGA实现对算法的硬件加速。实验证明该方案具有较低算法时延,能够显著提高数据写入和修复吞吐量。