基于忆阻器的神经突触仿生模拟
这是一篇关于忆阻器,时序依赖突触可塑性(STDP),非联合式学习,巴甫洛夫联想记忆的论文, 主要内容为近些年来,随着对信息处理技术要求的逐渐提高,希望能够实现类似人脑的低功耗计算和存储功能,故而关于神经形态的研究备受关注。由于传统的半导体晶体管集成度难以进一步提高,基于晶体管的神经形态系统就难以扩展到生物规模,需要更小、更低能耗的电子突触器件。忆阻器是成为代替人工突触的最佳候选者,是因为其功耗低,并且它的三明治结构具有纳米级尺寸,作为第四种无源器件无疑为实现人工突触器件带来了希望,以忆阻器为基础的神经形态系统有希望改变现有的信息处理方式。生物存在习惯化、联想记忆的非联合式学习和联合式学习行为,为了能够早日实现神经形态系统,通过基于忆阻器的神经突触电路来研究生物学习行为可以为其奠定基础。本文深入分析了忆阻器的模型,研究了忆阻器的特性,并基于Ag/AIST/Ag器件的导电机制改进了一个新的具有遗忘效应和阈值特性的忆阻器模型,对其记忆特性进行了比较和分析。改进后的忆阻器模型特性更加符合HEBB理论所提出的突触特性,在改进模型的基础上,设计了基于忆阻器的神经突触电路,用来模拟生物的学习记忆行为。具有遗忘效应与阈值特性的忆阻器更适用于模拟神经突触,设计的电路不需要再使用额外的附加电路实现遗忘效应,也会更加趋于真实。本文的主要工作由以下内容组成。首先,本文分析了几种具有典型特性的忆阻器模型,并对它们都进行了电路仿真。对于离子迁移模型和非线性离子迁移模型,首先介绍其物理结构,推导忆阻值的公式和窗函数的介绍。对于阈值模型,由于其符合实际器件的特性,主要介绍了常用的电压阈值模型。对于遗忘模型,介绍并分析了一个基于实际器件的模型。分析这几种忆阻器模型也是为后续忆阻器模型的改进和电路设计奠定基础。其次,根据实际器件的导电机制对神经网络中使用的电压阈值模型进行了改进,使得其更加符合实际的物理意义,同时也使得该模型具有遗忘特性,能够更好的进行一些神经突触仿生应用。对忆阻器模型进行了SPICE模型搭建,使得能够在PSpice电路上进行电路仿真。我们对神经网络中使用的电压阈值模型和改进的模型进行了仿真和比较,分析了两者的不同。同时对于改进后的模型,为了与生物现象一致,采用脉冲对叠加方法来验证时序依赖突触可塑性(STDP),这证明了改进后的模型可以模拟生物突触行为。然后,基于改进的忆阻器模型设计了一个由忆阻器和模拟行为建模(ABM)装置构建的习惯化电路来实现非联合式学习。相比于之前的研究,本文利用改进模型的遗忘特性,更简单的实现习惯化特性的短期习惯化和长期习惯化,忆阻器完成这一过程,为设计基于突触设备的神经形态系统提供了方法。最后,利用改进的忆阻器模型具有的阈值特性和遗忘效应,设计了联合式学习的经典巴甫洛夫联想记忆电路,完成了生物的联想记忆过程。PSpice仿真结果证明了所设计的电路具有有效性,同时证明改进后的忆阻器用作神经突触可以更好地实现生物体的基本学习和记忆行为,从而提供更多的脑启发计算选择。
面向脑电波癫痫分类的忆阻神经网络设计与实现
这是一篇关于癫痫,忆阻器,神经形态计算,脑电信号,权值调控的论文, 主要内容为癫痫是一种困扰人类多年的慢性脑部疾病,需要持续不断地预防和检测,设计癫痫自动检测系统具有重要意义。忆阻器这一新型器件具有功耗低、集成度高以及天然的突触特性等优势,有望在癫痫自动检测系统的设计与实现中发挥远高于传统CMOS器件的性能。但目前基于忆阻器阵列的神经网络硬件实现较少,其性能仍有很大提升空间。因此,本文围绕基于忆阻器阵列的脑电信号癫痫分类神经网络展开研究,论文主要工作如下:第二章设计了一种面向忆阻器实现的癫痫分类卷积神经网络,提出了一种权值均方剪枝方法以简化网络,使网络在现有忆阻器阵列规模和性能水平上达到了高识别性能。主要研究内容包括脑电信号的预处理方法、脑电信号癫痫分类神经网络的设计以及神经网络的剪枝方法。本章首先通过对脑电信号进行预处理完成对不同癫痫种类脑电信号的特征提取。随后设计卷积神经网络,完成对于脑电波电信信号的分类。最后为了适应忆阻器阵列规模,面向忆阻器实现对卷积神经网络进行剪枝,降低网络中的参数个数。最终实现的网络通过剪枝使网络的硬件资源消耗降低了29.66%,网络在对于癫痫病人发病种类的分类应用中实现了99.1%的分类准确率。第三章基于电路级测试验证系统和多值忆阻阵列对所提出的卷积神经网络和阻值精确调控方法进行了验证。本章首先分析阵列良率和权值映射误差对硬件网络性能带来的影响,并以此为基础确定忆阻器阻值精确调控应当满足的误差容限。随后通过优化选择施加脉冲的幅度和宽度,以及施加脉冲时器件的栅压等三个变量,实现忆阻器阻值精确调控。最后对权值调控的实际效果进行测试验证。调控完成后阵列的良率为98.05%,阵列的平均误差水平为4.27%,在调制完成213分钟(5.68天)后,阵列的平均误差水平保持在10.4633%,具有良好的保持特性。第四章针对神经网络在忆阻器阵列上的实现问题,设计神经网络权值在忆阻器阵列上的映射方案,并在实际阵列上对神经网络进行了硬件实现验证。首先设计神经网络权值在忆阻器阵列上的映射方法。随后基于前文所设计的映射方法和权值调控方法,在忆阻器阵列上对分类神经网络进行了部分实现。最后结合实现部分测试结果完成全系统仿真并对全系统进行了稳定性分析。最终的验证结果表明网络在调制结束时能达到98.9%的分类准确率,在调制结束213分钟后,网络仍能保持96.5%以上的分类准确率。本文所研究的内容对于癫痫检测系统的设计能提供一种新思路,有望推动癫痫检测技术的进一步发展。
面向脑电波癫痫分类的忆阻神经网络设计与实现
这是一篇关于癫痫,忆阻器,神经形态计算,脑电信号,权值调控的论文, 主要内容为癫痫是一种困扰人类多年的慢性脑部疾病,需要持续不断地预防和检测,设计癫痫自动检测系统具有重要意义。忆阻器这一新型器件具有功耗低、集成度高以及天然的突触特性等优势,有望在癫痫自动检测系统的设计与实现中发挥远高于传统CMOS器件的性能。但目前基于忆阻器阵列的神经网络硬件实现较少,其性能仍有很大提升空间。因此,本文围绕基于忆阻器阵列的脑电信号癫痫分类神经网络展开研究,论文主要工作如下:第二章设计了一种面向忆阻器实现的癫痫分类卷积神经网络,提出了一种权值均方剪枝方法以简化网络,使网络在现有忆阻器阵列规模和性能水平上达到了高识别性能。主要研究内容包括脑电信号的预处理方法、脑电信号癫痫分类神经网络的设计以及神经网络的剪枝方法。本章首先通过对脑电信号进行预处理完成对不同癫痫种类脑电信号的特征提取。随后设计卷积神经网络,完成对于脑电波电信信号的分类。最后为了适应忆阻器阵列规模,面向忆阻器实现对卷积神经网络进行剪枝,降低网络中的参数个数。最终实现的网络通过剪枝使网络的硬件资源消耗降低了29.66%,网络在对于癫痫病人发病种类的分类应用中实现了99.1%的分类准确率。第三章基于电路级测试验证系统和多值忆阻阵列对所提出的卷积神经网络和阻值精确调控方法进行了验证。本章首先分析阵列良率和权值映射误差对硬件网络性能带来的影响,并以此为基础确定忆阻器阻值精确调控应当满足的误差容限。随后通过优化选择施加脉冲的幅度和宽度,以及施加脉冲时器件的栅压等三个变量,实现忆阻器阻值精确调控。最后对权值调控的实际效果进行测试验证。调控完成后阵列的良率为98.05%,阵列的平均误差水平为4.27%,在调制完成213分钟(5.68天)后,阵列的平均误差水平保持在10.4633%,具有良好的保持特性。第四章针对神经网络在忆阻器阵列上的实现问题,设计神经网络权值在忆阻器阵列上的映射方案,并在实际阵列上对神经网络进行了硬件实现验证。首先设计神经网络权值在忆阻器阵列上的映射方法。随后基于前文所设计的映射方法和权值调控方法,在忆阻器阵列上对分类神经网络进行了部分实现。最后结合实现部分测试结果完成全系统仿真并对全系统进行了稳定性分析。最终的验证结果表明网络在调制结束时能达到98.9%的分类准确率,在调制结束213分钟后,网络仍能保持96.5%以上的分类准确率。本文所研究的内容对于癫痫检测系统的设计能提供一种新思路,有望推动癫痫检测技术的进一步发展。
基于忆阻器的神经突触仿生模拟
这是一篇关于忆阻器,时序依赖突触可塑性(STDP),非联合式学习,巴甫洛夫联想记忆的论文, 主要内容为近些年来,随着对信息处理技术要求的逐渐提高,希望能够实现类似人脑的低功耗计算和存储功能,故而关于神经形态的研究备受关注。由于传统的半导体晶体管集成度难以进一步提高,基于晶体管的神经形态系统就难以扩展到生物规模,需要更小、更低能耗的电子突触器件。忆阻器是成为代替人工突触的最佳候选者,是因为其功耗低,并且它的三明治结构具有纳米级尺寸,作为第四种无源器件无疑为实现人工突触器件带来了希望,以忆阻器为基础的神经形态系统有希望改变现有的信息处理方式。生物存在习惯化、联想记忆的非联合式学习和联合式学习行为,为了能够早日实现神经形态系统,通过基于忆阻器的神经突触电路来研究生物学习行为可以为其奠定基础。本文深入分析了忆阻器的模型,研究了忆阻器的特性,并基于Ag/AIST/Ag器件的导电机制改进了一个新的具有遗忘效应和阈值特性的忆阻器模型,对其记忆特性进行了比较和分析。改进后的忆阻器模型特性更加符合HEBB理论所提出的突触特性,在改进模型的基础上,设计了基于忆阻器的神经突触电路,用来模拟生物的学习记忆行为。具有遗忘效应与阈值特性的忆阻器更适用于模拟神经突触,设计的电路不需要再使用额外的附加电路实现遗忘效应,也会更加趋于真实。本文的主要工作由以下内容组成。首先,本文分析了几种具有典型特性的忆阻器模型,并对它们都进行了电路仿真。对于离子迁移模型和非线性离子迁移模型,首先介绍其物理结构,推导忆阻值的公式和窗函数的介绍。对于阈值模型,由于其符合实际器件的特性,主要介绍了常用的电压阈值模型。对于遗忘模型,介绍并分析了一个基于实际器件的模型。分析这几种忆阻器模型也是为后续忆阻器模型的改进和电路设计奠定基础。其次,根据实际器件的导电机制对神经网络中使用的电压阈值模型进行了改进,使得其更加符合实际的物理意义,同时也使得该模型具有遗忘特性,能够更好的进行一些神经突触仿生应用。对忆阻器模型进行了SPICE模型搭建,使得能够在PSpice电路上进行电路仿真。我们对神经网络中使用的电压阈值模型和改进的模型进行了仿真和比较,分析了两者的不同。同时对于改进后的模型,为了与生物现象一致,采用脉冲对叠加方法来验证时序依赖突触可塑性(STDP),这证明了改进后的模型可以模拟生物突触行为。然后,基于改进的忆阻器模型设计了一个由忆阻器和模拟行为建模(ABM)装置构建的习惯化电路来实现非联合式学习。相比于之前的研究,本文利用改进模型的遗忘特性,更简单的实现习惯化特性的短期习惯化和长期习惯化,忆阻器完成这一过程,为设计基于突触设备的神经形态系统提供了方法。最后,利用改进的忆阻器模型具有的阈值特性和遗忘效应,设计了联合式学习的经典巴甫洛夫联想记忆电路,完成了生物的联想记忆过程。PSpice仿真结果证明了所设计的电路具有有效性,同时证明改进后的忆阻器用作神经突触可以更好地实现生物体的基本学习和记忆行为,从而提供更多的脑启发计算选择。
多尺度胶囊神经网络研究与应用
这是一篇关于多尺度,胶囊神经网络,路由算法,忆阻器,医学影像分类的论文, 主要内容为胶囊网络是近些年来提出的一种新型神经网络架构,旨在解决传统卷积神经网络不能有效学习图像中实体空间层级关系的缺陷。现阶段,胶囊网络在MNIST、Fashion-MNIST等数据集的分类任务中表现优秀,但其仍然处于研究的初期阶段,尚有一些问题亟待解决。首先,胶囊网络在复杂数据集上的性能表现不佳,这说明胶囊网络的架构及路由算法还具有进一步优化的空间。其次,胶囊网络的神经元相较于传统神经网络扩展了一个维度,所以它在推理阶段需要进行大量矩阵-矩阵乘法运算,这对部署设备的存储器带宽以及矩阵运算性能提出了较高的要求,因此适用于胶囊网络的端侧部署方案还需进一步研究。针对上述问题,本文从网络架构设计、路由算法优化、部署方案设计以及应用方面对胶囊网络的算法和理论进行了完善。本文的主要创新工作如下:(1)针对胶囊网络在复杂数据集上性能表现不佳、在端侧部署难度大的问题,本文结合算法与新型器件忆阻器,提出了一种软-硬件协同设计的多尺度胶囊神经网络模型MMRCaps Net。在模型设计方面,该网络构建了多级残差胶囊模块,增强了胶囊网络对多尺度特征的提取能力;引入空洞卷积方法,增强了网络对特征上下文信息的提取能力;提出了一种基于转置卷积的重构子网络,实现了更佳的重构效果。与经典胶囊网络模型Caps Net相比,MMRCaps Net通过轻量化的架构设计减少了约50%的参数量,并且在CIFAR10数据集与SVHN数据集上的分类精度分别提高了8.42%和0.9%,有效地提升了胶囊网络在复杂数据集上的性能。在部署方案方面,本文基于“神经形态计算”的思想,从胶囊网络在端侧设备中的部署应用出发,提出了基于忆阻交叉阵列的MMRCaps Net电路实现方案。该方案支持矩阵-矩阵乘法的并行计算,配合忆阻器件的非易失特性,可以以极低的功耗实现“存算一体”,有望推动胶囊网络在智能终端设备上的部署和应用。(2)针对胶囊网络架构简易、路由算法效率不高的问题,本文结合多尺度特征学习与注意力机制,提出了缩放点积注意力胶囊网络模型SDACaps Net,并研究了其在医学影像分类任务中的应用。在网络架构方面,该模型设计了由多个残差卷积模块组成的特征提取模块,用于提取图像中的多尺度特征信息及上下文信息;延续了轻量化的思想,在保持优秀性能的前提下取消了重构子网络,网络整体参数量仅为MMRCaps Net的31%。在路由算法方面,SDACaps Net引入了注意力机制,提出了高效的缩放点积注意力路由算法SDA Routing,使各胶囊层特征向量之间的传递更加精细和准确。接着本文在包含两种医学影像的四个数据集上对SDACaps Net的性能进行了评估与分析,多项性能指标表明SDACaps Net在医学影像分类任务中表现优秀,尤其是在小样本数据集上表现出了具有竞争力的性能,这一点在应对突发公共卫生事件时具有极高的实用价值。最后,本文将SDACaps Net与领域内其他先进的胶囊网络模型以及一些经典卷积神经网络进行了性能比较,验证了SDACaps Net的有效性。本文从网络架构、路由算法、部署方案以及应用方面对胶囊网络进行了深入研究,相关成果丰富了胶囊网络的理论发展,具有一定的应用价值。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码客栈 ，原文地址：https://bishedaima.com/lunwen/54330.html
