基于随机子空间的深度多示例算法研究
这是一篇关于深度学习,多示例学习,随机子空间,嵌套多示例学习的论文, 主要内容为随着人工智能与机器学习的发展,深度学习已经成为当前最受欢迎的科学研究领域之一,它推动了计算机视觉与机器学习的巨大进步。因为建立深度学习模型所需的数据往往需要丰富而准确的标记,所以,只要求很少监督的弱监督学习受到了研究人员的注意。多示例学习属于弱监督学习,已经运用在计算机视觉、文本分类、医学图像分析等方面,已经成为一种重要的机器学习范式。通过对已有的多示例学习算法分析,本文将随机子空间方法分别与MI-Net算法、构建嵌套示例包相结合,对基于随机子空间的深度多示例网络进行深入研究,研究成果如下:1)提出了基于随机子空间示例选择的深度多示例学习方法。该方法从一个新的角度对基于嵌入空间的多示例网络MI-Net进行改进。最先,使用全连接层来获取包中示例包含更高语义的特征;接着,通过随机子空间示例选择模块计算积极得分和示例选择概率,并以此挑选示例,捕获数据中的关系,降低示例标签的歧义性;最后,通过对示例特征聚合,得到包特征。实验结果表明,所提方法取得了更好的准确率,比此前方法最高高出了3%左右,是可行有效的。2)提出了基于随机子空间和嵌套包的深度多示例学习方法。为了捕获包的结构,并且获得一个合理且容易的数据标签推理过程,本文提出了用随机子空间来构造嵌套包,将多示例学习转化为更深层次的学习框架。首先,通过随机子空间方法将示例包转化为嵌套包,接着,分别聚合示例和子包特征,获取子包和顶包高质量的表示。实验结果证明了从多示例到嵌套多示例转换的有效性,比现有方法准确率最多提高了4%,能更好的得到包的分类准确率,改进了算法的可解释性。
基于多示例学习的乳腺病理学全切片图像识别研究
这是一篇关于多示例学习,全切片图像分类,图卷积网络,门控注意力机制,双向门控循环单元的论文, 主要内容为乳腺病理学全切片图像(Whole Slide Image,WSI)分类和病灶定位因需要充分的组织病理学上下文感知特征表示而成为计算病理学中具有挑战性的任务。鉴于WSI多尺度、尺寸大和标注困难等特点,现有算法大多基于多示例学习(Multiple Instance Learning,MIL)方法设计,因为该方法只需要图像级标签就能实现病理学WSI分类。然而,MIL方法将WSI中不同位置的图像块视为独立同分布的区域,导致现有算法无法有效利用图像块的空间位置和上下文感知信息实现WSI识别分类与病灶定位。针对上述问题,本文提出了一种基于图卷积网络注意力多示例学习(Graph Convolutional Network Attention-Based Multiple Instance Learning,ABMIL-GCN)的全切片图像识别与分类模型。该方法首先利用Res Net50提取WSI图像块的特征并构建WSI级图数据。其次利用图卷积网络模拟WSI图像块的局部、全局拓扑结构,充分保留图像块在原WSI上的空间位置和上下文信息,建立图像块特征之间的依赖关系。最后利用基于门控注意力机制的多示例池化网络量化每个图像块特征的注意力分数从而实现WSI级特征聚合和热图可视化。此外,本文还提出使用洪水优化方法(flooding)进一步优化ABMIL-GCN模型的表现,实验表明,优化后的ABMIL-GCN模型在Camelyon16测试集上的平均准确率和AUC值分别提升至90.89%和0.9149,ABMIL-GCN方法优于现有的弱监督学习算法。尽管ABMIL-GCN模型能够建立图像块之间的依赖关系,但其获取到的上下文信息受限于图卷积网络中的邻接矩阵,只能建立当前图像块与邻居图像块间的上下文依赖关系。因此,为了获得更大范围图像块的空间位置和上下文信息,本文提出一种基于双向门控循环单元注意力多示例学习(Bidirectional Gated Recurrent Unit Attention-Based Multiple Instance Learning,ABMIL-Bi GRU)的全切片图像识别与分类模型。该方法首先对WSI按行按列扫描提取图像块并使用Res Net50提取图像块特征,其次利用双向门控循环单元建立图像块行特征间和列特征间的长短距离依赖关系并进行特征拼接,从而实现更大范围图像块的空间位置和上下文感知信息嵌入。最后利用基于门控注意力机制的多示例池化网络量化每个拼接特征的注意力分数从而实现WSI级特征聚合和热图可视化。实验表明,ABMIL-Bi GRU模型在Camelyon16测试集上的平均准确率和AUC值分别达到91.86%和0.9467,在与其他方法的比较中,验证了ABMIL-Bi GRU模型的优越性。
基于EEG信号的轻度抑郁症异常脑拓扑结构研究
这是一篇关于脑电,轻度抑郁症,功能连接,图论,层次聚类,多示例学习的论文, 主要内容为随着计算机与生物信息技术的不断发展,许多研究都试图使用计算机对精神疾病进行辅助诊断,尤其是脑电(Electroencephalogram,EEG)由于其无创伤性、相对低成本、便捷性等优点,被广泛用于抑郁症的识别。然而,目前大多数EEG的抑郁症检测工作都是基于监督学习方法,监督学习需要在训练期间使用特定的标签来识别EEG中的每个示例。通常情况下,基于抑郁症检测的二分类监督学习模型要求在模型初始化前确定所选EEG频段数据以及对其进行标签化处理。然而,由于不同频段的EEG数据包含着许多生理和疾病信息以及动态变化,研究者们很难挑选出能够反映出抑郁程度的频段数据。更重要的是,在目前的方法中,模型的最终预测是通过对被试的所有示例进行平均而得到的分数。然而,深度学习的稳健拟合能力可能会导致没有表现出显著症状的示例对模型性能产生负面影响,从而影响结果。因此,为了解决上述问题,本文首先探讨了轻度抑郁症的异常脑拓扑结构,然后基于研究结果构建出一种针对轻度抑郁症进行辅助诊断的深度神经网络模型。主要工作和创新如下:1.针对轻度抑郁人群功能脑网络研究,本文采用最新的脑功能网络分析方法和层次聚类算法,首次根据视觉搜索范式中的脑电数据系统探索了轻度抑郁症患者的异常脑拓扑结构。行为结果显示,轻度抑郁症组的反应时间明显长于正常对照组。脑功能网络结果表明,两组之间的功能连接存在明显差异,半球间的长距离连接量远大于半球内的短距离连接。尤其在beta频段,轻度抑郁症患者的局部效率(Local Efficiency,LE)和聚类系数(Clustering Coefficient,CC)明显降低,额叶和顶枕叶的聚类结构遭到了破坏,额叶出现大脑不对称情况。此外,左额叶和右顶枕叶之间的长距离连接的功能连接平均值与抑郁症状呈明显的相关性。我们的结果表明,轻度抑郁症患者通过牺牲额叶和顶枕叶区域内的连接来实现两个区域之间的长距离连接,这可能为抑郁症的异常认知处理机制提供了见解。2.针对轻度抑郁症异常脑拓扑结构的多示例学习辅助诊断模型研究,本文基于多示例学习(Multiple Instance Learning,MIL)提出了一个名为CAMMIL(MIL Framework Combining Attention and Max-pooling,CAMMIL)的模型框架,它在示例层层面上使用最大池化层进行捕捉抑郁症状信息,并且在包层层面上使用注意力权重进一步整合每个示例的贡献。此外,本文还提出了一个脑区特征注意力融合CNN模块BRFAFNet(Brain Region Features Attention Fused CNN Net),该网络能够有效地使全脑特征嵌入到每个脑区中。本文的提出的方法达到了85%的准确率(Accuracy,ACC)和84.1%的ROC曲线下面积(Area under ROC Curve,AUC),与目前基于EEG信号的抑郁症检测先进方法相比,准确率最高提升了13.1%。此外本文还对轻度抑郁症识别中的频段选择问题进行了分析,结果发现轻度抑郁患者在beta频段的频段选择上有统计学上的差异。这可能为轻度抑郁症的研究和检测提供新的见解。上述研究表明,轻度抑郁症患者存在牺牲额叶和顶枕叶区域内的连接来实现两个区域之间的长距离连接的异常机制,这或许对抑郁症的异常认知处理机制提供了新的见解。其次本文提出的包含BRFAFNet的CAMMIL模型凭借其主动捕捉反映抑郁症状的频段数据、有效地将全脑特征嵌入到每个脑区特征中以及更高地模型评价指标,或许能够为轻度抑郁检测提供可靠的方法借鉴。另外,本文发现轻度抑郁患者在beta频段的频段选择上有统计学上的差异也具有重要意义。综上,本文发现了轻度抑郁症患者存在异常脑拓扑结构,以及通过该结构建立的CAMMIL模型可以提高轻度抑郁的识别率,为轻度抑郁的检测提供了新的视角。
基于随机子空间的深度多示例算法研究
这是一篇关于深度学习,多示例学习,随机子空间,嵌套多示例学习的论文, 主要内容为随着人工智能与机器学习的发展,深度学习已经成为当前最受欢迎的科学研究领域之一,它推动了计算机视觉与机器学习的巨大进步。因为建立深度学习模型所需的数据往往需要丰富而准确的标记,所以,只要求很少监督的弱监督学习受到了研究人员的注意。多示例学习属于弱监督学习,已经运用在计算机视觉、文本分类、医学图像分析等方面,已经成为一种重要的机器学习范式。通过对已有的多示例学习算法分析,本文将随机子空间方法分别与MI-Net算法、构建嵌套示例包相结合,对基于随机子空间的深度多示例网络进行深入研究,研究成果如下:1)提出了基于随机子空间示例选择的深度多示例学习方法。该方法从一个新的角度对基于嵌入空间的多示例网络MI-Net进行改进。最先,使用全连接层来获取包中示例包含更高语义的特征;接着,通过随机子空间示例选择模块计算积极得分和示例选择概率,并以此挑选示例,捕获数据中的关系,降低示例标签的歧义性;最后,通过对示例特征聚合,得到包特征。实验结果表明,所提方法取得了更好的准确率,比此前方法最高高出了3%左右,是可行有效的。2)提出了基于随机子空间和嵌套包的深度多示例学习方法。为了捕获包的结构,并且获得一个合理且容易的数据标签推理过程,本文提出了用随机子空间来构造嵌套包,将多示例学习转化为更深层次的学习框架。首先,通过随机子空间方法将示例包转化为嵌套包,接着,分别聚合示例和子包特征,获取子包和顶包高质量的表示。实验结果证明了从多示例到嵌套多示例转换的有效性,比现有方法准确率最多提高了4%,能更好的得到包的分类准确率,改进了算法的可解释性。
基于多示例学习的结直肠癌微卫星不稳定性分类研究与应用
这是一篇关于多示例学习,结直肠癌,微卫星不稳定性,图像分类,计算机辅助诊断的论文, 主要内容为近年来,随着人工智能技术的飞速发展,基于深度学习的计算机辅助诊断技术已成为医学领域的热门研究方向,它可以帮助医生从大量数据中快速发现异常组织区域,提高医生的诊断效率和准确率。微卫星不稳定性(Microsatellite instability,MSI)是结直肠癌诊断和预后判断的重要分子标志物,MSI的筛查具有非常重要的临床意义。在结直肠癌病理图像中,携带MSI的组织与其他病灶组织在形态上难以用肉眼识别,无法提供像素级别的标注,因此常见的有监督学习框架在对MSI进行分类时存在困难。弱监督学习框架也存在模型计算复杂度高、识别能力不强以及模型工程应用不足等问题。针对MSI病理图像处理实际,为提高MSI病理图像的识别准确率和模型应用,本文以深度学习模型改进为方向,开展一系列工作。具体工作如下:(1)针对弱监督学习框架中简单聚合操作导致决策边界迁移影响模型分类准确性的问题,提出基于多示例学习的弱监督结直肠癌MSI分类模型Codc Net。该模型先通过注意力池化,根据注意力分数选择正负样本,再通过加入一维卷积层对样本特征进行嵌入,引入更多的非线性以拉大类间距离,实现了降低模型复杂度、提高模型识别效率的目标。(2)为了进一步提高模型对MSI的分类性能,提出了基于双流多示例学习的结直肠癌MSI分类模型CNDSMIL。该模型采用双流架构,通过测量每个示例与得分最高的关键示例之间的距离训练得到分类器,再通过采用Codc Net模型替换α流的最大池化方法及改进β流关键示例的聚合方法,使用多损失函数组合方法对双流损失函数进行加权计算以得到更准确的决策边界。CNDSMIL还可以通过热力图的方式显示分类结果的高风险区域,提升了模型的可解释性。(3)针对模型工程应用不足的情况,设计了一种结直肠癌医学图像微卫星不稳定性预测系统。系统以Py Qt5技术为基础,包含用户登录、图像预处理、MSI分类等主要模块,实现了对结直肠癌病理图像进行微卫星不稳定性状态分析的功能。本文改进算法在典型数据集实验的验证中表现出了较好的分类性能,开发的结直肠癌医学图像微卫星不稳定性预测系统,较好地体现了算法与应用的有机结合,为相关技术的临床应用提供了良好支撑,具有一定的实际应用价值。
面向领域知识图谱构建的知识抽取的研究和实现
这是一篇关于知识抽取,知识图谱,命名实体识别,实体关系抽取,多任务学习,多示例学习的论文, 主要内容为随着电网设备故障资料的电子化,与电网设备故障相关的文本数据资源迅速增长。为利用其中的知识,本文拟将电网设备故障领域文本蕴含的知识结构化,构建电网设备故障领域知识图谱。知识抽取是知识图谱的主要构建方法,是从非结构化的文本中提取结构化知识三元组的过程。其中命名实体识别和关系抽取是主要任务。但目前现有命名实体识别模型缺乏对领域的针对性,且大多采用合并预测实体位置和类别的任务构建模式,造成误差积累。在关系抽取任务中,有监督学习模型的训练依赖人工标注数据,但由于领域实体关系标注的专业性,人工成本较高,无法满足需求。针对以上问题,对于命名实体识别任务,本文提出一种基于多任务学习的实体边界感知模型,在任务构建、领域实体信息上利用进行创新。该模型基于多头注意力机制的Transformer,将传统命名实体识别任务分解为实体边界感知任务和实体分类任务,开展多任务学习,减少任务之间的误差积累。本文模型还使用基于领域实体类别综合描述的相似度计算辅助实体分类,实现对领域实体的针对性。并在公开数据集和领域数据集上进行了实验,证明了模型的先进性。对于关系抽取任务,本文提出一种基于多类关系注意力机制的关系抽取模型,以远程监督多示例学习的思想为出发点,减少模型对人工标注的依赖。为提高模型对领域实体关系的针对性,本文引入领域关系特征,并在公开数据集和领域数据集上进行实验,验证了模型的效果。为搭建知识图谱,本文首先对领域实体进行抽取,完善领域词典。之后利用通用知识库和电网标准进行知识对齐,构建领域实体关系数据集,进行关系抽取得到知识集合。最后对结果进行知识融合,实现电网设备故障领域知识图谱的构建、存储和可视化。本文比较了电网设备故障领域知识图谱和通用知识图谱的查询结果,证实该知识图谱在专业性、详细性和领域针对性等方面具有明显的优势。
多示例注意力网络的遥感场景分类
这是一篇关于遥感场景分类,多示例学习,卷积神经网络,注意力模块,轻量级网络的论文, 主要内容为相较于自然场景图像,遥感场景图像受高空拍摄影响,造成图像的关键目标较小,图像存在物体形变较大、组成对象较多和背景信息复杂。现有的卷积神经网络受感受野的限制,提取特征具有局限性,造成特征之间的割裂,变换器网络的整图学习对局部语义的理解不足。而且将这些方法应用于遥感场景分类都需要借助在Image Net的预训练,使得遥感场景图像分类的研究依赖大模型,而仅用遥感场景数据集的分类任务存在极大的挑战。本文将基于注意力的多示例学习框架引入,从全局图像与局部图像两方面研究基于注意力多示例的轻量级网络用于遥感场景分类。(1)针对组成对象较多和背景信息复杂问题,提出示例级与场景级信息融合的多示例网络,采用没有预训练的方案探索,该方法由密集连接变换器模块和示例位置感知模块构建,密集连接变换器模块由卷积和自注意力结合,学习全局与局部的关系;示例位置感知模块学习关键示例的潜在位置,通过联合两部分的分类损失获取富于判别的分类模型。(2)针对对象形变较大问题,提出混合注意力的多示例学习网络;利用轻量级网络提取特征,再将特征采用基于混合注意力的多示例池化方法增强构造一个端到端的神经网络;通过结合两部分,构造全局分类损失获取富于判别的分类模型。本文研究在三个公开遥感数据集UCM、AID和NWPU-RESISC上进行了验证,与其他研究相比,本文的研究方法提高了遥感场景分类性能,同时压缩了网络模型参数量以及计算量。本文研究方法在自然场景CIFAR-10与ImageNet2012也做了部分实验,取得较好的结果。
基于深度学习的癌症病理图像分析研究
这是一篇关于病理图像,分类算法,分割算法,多示例学习,注意力机制的论文, 主要内容为治疗癌症关键在于精确诊断,目前最常用的癌症检测方法为病理诊断。但病理图像内容复杂、分辨率高,使临床诊断面临重大挑战。为了提升病理图像诊断效率,辅助医生更好地完成病理诊断任务,深度学习被引入了病理图像智能分析诊断中。深度学习可以在大规模数据中自动学习并提取关键特征,并且随着数据量增大泛化性越好。但目前对病理图像的分析方法主要为针对自然图像方法的迁移学习,而病理图像具有内容复杂、染色多样等特点,使其不完全适用于病理图像。同时,目前的算法主要针对稀少且昂贵的精标注数据,无法有效利用粗标注数据。为解决上述问题,本文基于注意力机制和多示例学习开展癌症病理图像智能分析研究。论文主要工作如下:(1)梳理了病理图像分类与分割的国内外研究现状,发现自然图像分割方法无法有效应对内容复杂和分辨率差异大的病理图像,导致分割效果不佳。而且病理图像研究主要针对精标注数据,未有效利用仅含切片级标签的病理图像。这些发现为提出新的病理分析算法提供了研究背景。(2)提出了一种基于深度特征融合的病理图像分割网络(HU-Net)。该算法使用U-Net作为基本网络结构,利用预训练的Efficient Net-B4作为特征编码器。改进了网络解码器并采用通道注意力模块筛选融合特征,在各层融合特征的基础上构建联合损失函数共同训练,使各层语义信息更具鉴别力。在BOT和SEED数据集上分别进行分割实验证明,HU-Net能有效提升病灶分割精度,实现更准确的癌症病灶定位,增强了分割网络对多分辨率图像的鲁棒性。(3)以多示例学习为理论基础,结合自监督对比学习,提出了一种基于多示例学习的病理图像分类算法(MFMIL)。该算法首先将切片图像划分为小块图像,通过自监督对比学习图像特征,利用训练好的特征提取器提取各图像块的特征表示,从而减少了后续计算量。最后利用改进的特征聚合模块融合示例特征从而完成包的分类预测。在Camelyon16和ACC-B等数据集上分别进行的分类实验证明,MFMIL算法可以实现有效利用粗标注病理图像,提升了弱监督学习算法的分类精度。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设导航 ，原文地址：https://bishedaima.com/lunwen/48702.html
