基于卷积稀疏编码模型的音频分类和声音事件检测

这是一篇关于音频分类,声音事件检测,声音去噪,卷积稀疏编码,弱监督学习的论文, 主要内容为音频信号处理在家庭活动识别、监控系统等领域变得越来越重要。目前大部分音频信号处理问题都使用深度学习方法。深度学习方法中最常用的网络就是卷积神经网络(Convolutional Neural Network,CNN)。卷积神经网络有可解释性不强、池化层容易丢失目标对象位置信息的缺点。为了避免这些缺点,该文提出使用卷积稀疏编码模型用于音频信号处理问题。卷积稀疏编码专注于构建信号的稀疏和移位不变表示,可解释性更强,而且模型参数数量更少。首先,提出了用于音频分类问题的多层迭代软阈值网络(Multi-layer Iterative Soft Thresholding Network,ML-ISTA-NET)。为了捕获音频事件的时间上下文信息,在ML-ISTA-NET基础上加入了双向门控循环单元(Bidirectional Gate Recurrent Unit,Bi-GRU),提出了MLISTA-GRU网络。为了关注音频事件中重要的帧,在MLISTA-GRU网络基础上进一步加入了注意力机制(Attention mechanism),提出了MLISTA-GRU-Att网络。实验结果表明,ML-ISTA-NET网络、MLISTA-GRU网络和MLISTA-GRU-Att网络的音频分类性能均优于基线系统。其次,为了解决声音事件检测任务中的弱监督学习问题,提出了基于多层局部块坐标下降网络(Multi-layer Local Block Coordinate Descent,ML-LoBCoD-NET)的MRNN-Att网络;为了充分利用CNN和ML-LoBCoD-NET网络提取的特征,进而提出了MCRNN-Att网络用于声音事件检测任务。为了解决声音事件检测任务中的半监督学习问题,提出了基于MRNN-Att网络和MCRNN-Att网络的平均教师模型。实验结果表明,提出的四种方法的声音事件检测性能都要优于基线系统。最后,提出了用于Log＿Mel频谱图去噪的CSCNet-LFISTA网络。CSCNet-LFISTA网络是基于可学习快速迭代软阈值算法(Learned Fast Iterative Soft Thresholding Algorithm,LFISTA)展开的网络。为了提高训练和测试样本之间的数据拟合差异问题,提出了基于LFISTAm算法的CSCNet-LFISTAm网络。实验结果表明,CSCNet-FISTA和CSCNet-FISTAm网络的去噪性能均优于BM3D模型,而且与CSCNet网络相比收敛速度更快,其中CSCNet-LFISTAm网络具有最快的收敛速度。

基于弱监督与表示学习的关系抽取算法研究

这是一篇关于实体关系抽取,弱监督学习,表示学习,词向量,循环神经网络的论文, 主要内容为我们生活在信息时代,但是从中获取有用和结构化的知识并非易事。近期的研究估计,人类已经存储了超过295艾字节(295*1018字节)的数据。大部分的文本数据以非结构化形式存在,如新闻文章、论坛与留言板、电子邮件、社交网络状态更新,和近十亿计的网页。如何有效的利用人类所产生的数据,进行深度数据挖掘与文本理解有重要意义,这些数据可以用于强化搜索结果、知识图谱补全,自动问答系统等。为了在信息中提炼出知识,本文研究了从海量非结构化文本进行关系抽取的方法,并提出了基于弱监督与表示学习的实体关系抽取方法,主要完成了以下几方面的工作:1.针对弱监督学习会引入噪声的问题,本文提出了基于模糊分类的多实例多标签学习算法。针对某个特定实体对,将多种关系和多个样本整合起来一同学习,并通过模糊分类的方法聚合句子级特征。相比其他弱监督学习方法,本文提出的方法能够提升2%以上的fl值。2.提出了基于词向量和循环神经网络进行自动特征抽取的方法。传统的特征抽取方法依赖人工经验与知识,并且是针对特定问题的设计,扩展性不强。神经网络能够自动进行特征抽取,分层对原始文本进行处理,并且不需要进行预处理。实验证明利用不同神经网络产生的特征,都对系统性能有一定提升。3.设计并实现了基于弱监督和神经网络特征提起的实体关系抽取平台。该实验平台整合了多项工具,包括文本检索、文本分析等,能够利用知识库对文本进行自动标注,学习关系抽取模型,最后输出关系抽取结果。在LDC与New York Times数据集上,本文提出的方法较传统方法,均有一定的效果提升。综上所述,本文提出的方法能够有效提升实体关系抽取系统性能,利用弱监督扩展了学习语料,通过表示学习增强了系统在不同领域的扩展性,同时能够减少预处理工作。这些内容对于关系抽取研究有一定的贡献与参考价值。

一种基于联合编码与弱监督学习的神经网络实体摘要方法

这是一篇关于语义网,实体摘要,弱监督学习,联合编码的论文, 主要内容为在大规模知识图谱中,通常用大量的三元组结构事实来描述一个实体。许多应用程序需要实体描述的简化版本,称为实体摘要。现有的实体摘要解决方案主要是无监督的。本文提出了一种基于新的神经网络模型的监督方法NEST,以对知识图谱中的图结构和文本进行联合编码,来生成高质量且多样化的摘要。由于获取人工标记的摘要作为训练集的成本很高,因此本文采用弱监督的方式,使用程序自动化标注的数据进行训练,这些数据可能包含噪音但无需人工标记。评估结果表明,在两个公开的基准测试集上,NEST显著优于现有实体摘要方法。

基于卷积稀疏编码模型的音频分类和声音事件检测

这是一篇关于音频分类,声音事件检测,声音去噪,卷积稀疏编码,弱监督学习的论文, 主要内容为音频信号处理在家庭活动识别、监控系统等领域变得越来越重要。目前大部分音频信号处理问题都使用深度学习方法。深度学习方法中最常用的网络就是卷积神经网络(Convolutional Neural Network,CNN)。卷积神经网络有可解释性不强、池化层容易丢失目标对象位置信息的缺点。为了避免这些缺点,该文提出使用卷积稀疏编码模型用于音频信号处理问题。卷积稀疏编码专注于构建信号的稀疏和移位不变表示,可解释性更强,而且模型参数数量更少。首先,提出了用于音频分类问题的多层迭代软阈值网络(Multi-layer Iterative Soft Thresholding Network,ML-ISTA-NET)。为了捕获音频事件的时间上下文信息,在ML-ISTA-NET基础上加入了双向门控循环单元(Bidirectional Gate Recurrent Unit,Bi-GRU),提出了MLISTA-GRU网络。为了关注音频事件中重要的帧,在MLISTA-GRU网络基础上进一步加入了注意力机制(Attention mechanism),提出了MLISTA-GRU-Att网络。实验结果表明,ML-ISTA-NET网络、MLISTA-GRU网络和MLISTA-GRU-Att网络的音频分类性能均优于基线系统。其次,为了解决声音事件检测任务中的弱监督学习问题,提出了基于多层局部块坐标下降网络(Multi-layer Local Block Coordinate Descent,ML-LoBCoD-NET)的MRNN-Att网络;为了充分利用CNN和ML-LoBCoD-NET网络提取的特征,进而提出了MCRNN-Att网络用于声音事件检测任务。为了解决声音事件检测任务中的半监督学习问题,提出了基于MRNN-Att网络和MCRNN-Att网络的平均教师模型。实验结果表明,提出的四种方法的声音事件检测性能都要优于基线系统。最后,提出了用于Log＿Mel频谱图去噪的CSCNet-LFISTA网络。CSCNet-LFISTA网络是基于可学习快速迭代软阈值算法(Learned Fast Iterative Soft Thresholding Algorithm,LFISTA)展开的网络。为了提高训练和测试样本之间的数据拟合差异问题,提出了基于LFISTAm算法的CSCNet-LFISTAm网络。实验结果表明,CSCNet-FISTA和CSCNet-FISTAm网络的去噪性能均优于BM3D模型,而且与CSCNet网络相比收敛速度更快,其中CSCNet-LFISTAm网络具有最快的收敛速度。

基于语义分割和遥感影像的小麦倒伏面积提取方法研究

这是一篇关于卷积神经网络,小麦倒伏,弱监督学习,语义分割,遥感的论文, 主要内容为作为主要的粮食作物之一,小麦的种植面积和产量位居全国第三,其稳定生产对国家粮食安全具有重要意义。作物倒伏是引起小麦减产的因素之一,因此,倒伏发生后,对倒伏区域进行快速、精准的监测和提取是很有必要的,这有利于为灾后应急处置和后续农业保险理赔提供决策支持。随着深度学习的发展,神经网络精度不断提高,并广泛应用于农业遥感监测领域。在利用遥感进行小麦倒伏识别和监测的过程中,为了兼顾性能、精度和空间尺度,需要使用多源的遥感数据以及更够精度的识别模型。因此,本研究的主要工作内容如下:(1)制作小麦倒伏数据集。利用灾害后卫星影像和无人机影像,对小麦倒伏数据进行数据处理和标注,构建两套小麦倒伏数据集,并将每套数据集分为训练集和验证集。(2)提出一种基于卷积神经网络的小麦倒伏区域提取方法。目前,大多数基于深度学习地小麦倒伏检测方法适用对象为无人机数据,针对卫星数据应用较少的问题,提出了一种称为金字塔转置卷积网络(Pyramid Transposed Convolutional Network,PTCNet)的语义分割网络模型,并使用高分二号卫星影像进行区域尺度的小麦倒伏提取与检测。在所提出的模型中,将多尺度的高级特征与低级特征相结合,以提高分割的准确性,并提高小麦倒伏区域的提取灵敏度。此外,将四种类型的植被指数(即NDVI,EVI,GNDVI,RVI)和三种类型的边缘特征(即Scharr,Prewitt,Roberts)添加到网络中,以提高分割精度,并与原网络模型进行比较。在小麦倒伏类别中,PTCNet的F1得分和Io U分别达到85.31%和74.38%,优于其他比较卷积神经网络,即Seg Net、PSPNet、FPN和Deep Labv3+网络。PTCNet可以实现小麦倒伏的精确和大规模提取。(3)提出一种基于弱监督语义分割的小麦倒伏区域提取方法。基于全监督语义分割的方法需要像素级标签,而标注工作需要花费大量时间和人力。为了减少标注工作,本研究通过弱监督方法分割出无人机影像中小麦倒伏区域,使用倒伏小麦和正常小麦的图像训练分类模型,并获得倒伏区域的类激活图(Class Activation maps,CAMs)作为伪标签,用于进一步分割小麦倒伏区域。然后通过遍历阈值的方式确认不同类激活映射算法生成的伪标签的最佳阈值,提高倒伏区域分割的准确性。使用CAM、Grad CAM和Grad CAM++算法在最佳阈值下生成的伪标签训练分割网络,分别获得0.607、0.581、0.579的倒伏小麦类别Io U。结果表明所提出方法用于提取小麦倒伏区域是可行的,证明了弱监督方法在小麦倒伏区域监测中的应用潜力。

基于深度学习的遥感影像船舶目标检测研究

这是一篇关于深度学习,船舶目标检测,轻量化,方向识别,弱监督学习的论文, 主要内容为船舶凭借其运输量大、运输成本低的优势,已成为海上重要的运输工具,在国际贸易中扮演着重要角色。基于高分辨率遥感影像提取船舶目标,不仅可以确保船舶的安全航行,还可以提高航道的通航效率。深度学习算法可以处理海量的遥感影像,使得遥感影像船舶检测的智能化成为可能。为此,本文围绕基于深度学习的遥感影像船舶目标检测展开研究。(1)针对复杂庞大的目标检测模型在计算资源有限平台可用性差、现有目标检测模型检测结果缺少船舶方向信息问题,提出了轻量化卷积神经网络船舶目标检测与方向识别模型。具体来说,复杂庞大的模型虽然具有较高的检测精度,但模型复杂度高,对计算资源要求比较高,导致模型使用范围受到限制。同时,由于遥感技术独特的成像视角,遥感影像中不仅包含了船舶的类别以及位置信息,还包含了船舶目标丰富的方向信息,而现有模型检测结构缺少船舶方向信息。针对以上问题,本文构建的模型以Faster-RCNN算法为基础,首先,利用单次特征聚合模块和深度可分离卷积构成了高效轻量化的特征提取网络;同时,将KMeans++算法引入到RPN网络构成K-RPN来生成高质量的候选区域;在不引入额外参数的情况下,通过将遥感影像中货船的方向识别问题转化为分类问题,在完成检测任务的同时完成东、南、西、北四个方向的估计。(2)针对目标级标签标注成本高问题,提出了弱监督学习船舶目标检测模型,降低了数据标注成本。强监督目标检测模型获得良好性能的前提条件是需要以目标级标注形式标注大量数据,来完成模型的训练。而在目标级标注过程中,不仅需要标注物体的类别信息,还需要标注物体的位置信息,该标注形式需要花费大量的标记时间与成本。而图像级标注仅需标注物体的类别信息,可以节省大量的标注成本。针对该问题,提出了弱监督学习船舶目标检测模型:该模型基于弱监督学习的思想,结合卷积神经网络与类激活映射原理,使用VGG16和Res Net50两种卷积神经网络,分别构建了VGG16-CAM与Res Net50-CAM两种弱监督学习方法。(3)以遥感影像中的货船目标为研究对象,梳理了三种典型货船的特征:散货船具有独特的舱盖,集装箱船摆满了货柜,液货船具有油管。然后,基于谷歌地球影像,以目标级标注方式,构建了一个包含货船目标类别、位置以及东、南、西、北方向信息的遥感影像船舶目标检测与方向识别数据集;以图片级标注方式,构建了一个包含货船目标类别信息的遥感影像船舶目标检测数据集。(4)基于自建数据集,对所提模型进行了训练与测试,并对实验结果进行评估。实验结果表明,轻量化卷积神经网络船舶目标检测与方向识别模型在模型大小(110MB)、检测精度(91.96%)、检测速度(单幅遥感影像推理时间46ms)等方面更适合在计算资源有限的平台下完成船舶目标检测和方向识别任务,同时,该模型对除谷歌影像之外的单数据源高分辨率遥感影像也是有效的;弱监督学习船舶目标检测模型中的VGG16-CAM模型与Res Net50-CAM模型检测精度m AP分别为72.06%和80.56%,其中Res Net50-CAM模型的检测精度最高,更适合以弱监督形式完成模型的训练并用于遥感影像中船舶目标检测。本文构建的轻量化卷积神经网络船舶目标检测与方向识别模型,进一步挖掘了遥感影像中船舶目标的语义信息,同时降低了对计算资源的要求;构建的弱监督学习船舶目标检测模型降低了数据标注成本。此工作有望促进遥感影像智能化解译水平的提高,具有广阔的应用前景。

基于深度学习的遥感影像船舶目标检测研究

这是一篇关于深度学习,船舶目标检测,轻量化,方向识别,弱监督学习的论文, 主要内容为船舶凭借其运输量大、运输成本低的优势,已成为海上重要的运输工具,在国际贸易中扮演着重要角色。基于高分辨率遥感影像提取船舶目标,不仅可以确保船舶的安全航行,还可以提高航道的通航效率。深度学习算法可以处理海量的遥感影像,使得遥感影像船舶检测的智能化成为可能。为此,本文围绕基于深度学习的遥感影像船舶目标检测展开研究。(1)针对复杂庞大的目标检测模型在计算资源有限平台可用性差、现有目标检测模型检测结果缺少船舶方向信息问题,提出了轻量化卷积神经网络船舶目标检测与方向识别模型。具体来说,复杂庞大的模型虽然具有较高的检测精度,但模型复杂度高,对计算资源要求比较高,导致模型使用范围受到限制。同时,由于遥感技术独特的成像视角,遥感影像中不仅包含了船舶的类别以及位置信息,还包含了船舶目标丰富的方向信息,而现有模型检测结构缺少船舶方向信息。针对以上问题,本文构建的模型以Faster-RCNN算法为基础,首先,利用单次特征聚合模块和深度可分离卷积构成了高效轻量化的特征提取网络;同时,将KMeans++算法引入到RPN网络构成K-RPN来生成高质量的候选区域;在不引入额外参数的情况下,通过将遥感影像中货船的方向识别问题转化为分类问题,在完成检测任务的同时完成东、南、西、北四个方向的估计。(2)针对目标级标签标注成本高问题,提出了弱监督学习船舶目标检测模型,降低了数据标注成本。强监督目标检测模型获得良好性能的前提条件是需要以目标级标注形式标注大量数据,来完成模型的训练。而在目标级标注过程中,不仅需要标注物体的类别信息,还需要标注物体的位置信息,该标注形式需要花费大量的标记时间与成本。而图像级标注仅需标注物体的类别信息,可以节省大量的标注成本。针对该问题,提出了弱监督学习船舶目标检测模型:该模型基于弱监督学习的思想,结合卷积神经网络与类激活映射原理,使用VGG16和Res Net50两种卷积神经网络,分别构建了VGG16-CAM与Res Net50-CAM两种弱监督学习方法。(3)以遥感影像中的货船目标为研究对象,梳理了三种典型货船的特征:散货船具有独特的舱盖,集装箱船摆满了货柜,液货船具有油管。然后,基于谷歌地球影像,以目标级标注方式,构建了一个包含货船目标类别、位置以及东、南、西、北方向信息的遥感影像船舶目标检测与方向识别数据集;以图片级标注方式,构建了一个包含货船目标类别信息的遥感影像船舶目标检测数据集。(4)基于自建数据集,对所提模型进行了训练与测试,并对实验结果进行评估。实验结果表明,轻量化卷积神经网络船舶目标检测与方向识别模型在模型大小(110MB)、检测精度(91.96%)、检测速度(单幅遥感影像推理时间46ms)等方面更适合在计算资源有限的平台下完成船舶目标检测和方向识别任务,同时,该模型对除谷歌影像之外的单数据源高分辨率遥感影像也是有效的;弱监督学习船舶目标检测模型中的VGG16-CAM模型与Res Net50-CAM模型检测精度m AP分别为72.06%和80.56%,其中Res Net50-CAM模型的检测精度最高,更适合以弱监督形式完成模型的训练并用于遥感影像中船舶目标检测。本文构建的轻量化卷积神经网络船舶目标检测与方向识别模型,进一步挖掘了遥感影像中船舶目标的语义信息,同时降低了对计算资源的要求;构建的弱监督学习船舶目标检测模型降低了数据标注成本。此工作有望促进遥感影像智能化解译水平的提高,具有广阔的应用前景。

噪声环境下的多标记学习方法研究与应用

这是一篇关于弱监督学习,多标记学习,噪声标记的论文, 主要内容为多标记学习是监督学习中一项基础且重要的任务。随着机器学习和深度学习技术的蓬勃发展,多标记学习成功地应用在信息检索、推荐系统和蛋白质功能预测等领域。尽管当前关于多标记学习的研究工作取得了巨大进展,但目前关于多标记学习的研究往往基于强监督假设:假设每个训练样本的标注信息完全准确。然而,由于收集完全正确标注的训练样本往往需要耗费大量的时间和费用,并且受数据本身特点、标注者差异性和外部环境等因素的影响,这一假设在现实世界中是不切实际的。为更好解决这一实际问题,本文研究噪声环境下的多标记学习问题。近年来,噪声环境下的多标记学习问题的研究范式主要为偏多标记学习。在偏多标记学习中,每个训练样本的标记集合由真实标记和噪声标记共同构成。现有的偏多标记学习方法主要集中在如何减小噪声标记对多标记分类器性能的影响,以学习一个鲁棒的多标记分类器。为实现这一目标,一些方法旨在识别每个训练样本的真实标记,而另外一些方法主要通过低秩假设和稀疏假设建模偏多标记学习问题。然而现有的方法存在以下一些问题:(1)现有方法忽略了训练样本的特征与标记的负面信息对其真实标记的影响;(2)现有方法都不能很好甚至无法处理标记空间过大的问题;(3)现有偏多标记学习方法的假设仍旧较强,从现实世界中收集到的训练样本不一定都包含噪声标记。针对现有工作存在的不足,本文从以下三个方面学习噪声环境下的多标记学习问题:(1)现有偏多标记学习方法忽略了训练数据特征与标记之间的负面信息。具体来说,如果两个样本的候选标记集合有很大的重叠部分,不管它们的特征相似度如何,它们的真实标记应该是相似的;而如果它们在特征和候选标记空间中不相同,则它们的真实标记应该彼此不相同。针对这一现象,为了在偏多标记学习数据上实现可靠的预测,本文提出了一种新的基于标记与特征合作的偏多标记学习方法(PML-LFC)。PML-LFC利用样本的候选标记集合计算样本之间的语义相似度并与样本特征相似度相结合协同估计每个训练样本的标记置信度,并且用估计的标记置信度矩阵训练所需的多标记分类器。PML-LFC通过统一模型以交替优化的方式实现分类器和潜在标记置信度矩阵的学习。大量的实验结果表明,PML-LFC可以很好地利用样本的特征信息和标记信息估计标记置信度矩阵以减小噪声标记的影响,并且PML-LFC可以学习一个鲁棒的多标记分类器提升分类性能。(2)当标记空间过大时,现有的偏多标记学习方法普遍存在计算代价高昂甚至无法处理的问题。为解决这一问题,本文提出了一种基于标记压缩的偏多标记学习方法(PML-LCom)。PML-LCom首先将观测到的样本-标记关联矩阵分解为一个潜在的真实标记矩阵和一个不相关的噪声标记矩阵,然后将真实的标记矩阵分解为两个低秩矩阵的乘积,其中一个矩阵对样本的压缩标记进行编码,而另一个矩阵探索低维空间中的标记相关性。其次,PML-LCom通过压缩后的低维标记矩阵学习多标记分类器的系数矩阵。此外,PML-LCom根据样本特征相似度对压缩后的标记矩阵进行正则化,并对标记矩阵和分类器进行联合优化。在合成和真实偏多标记数据集上的实验结果表明,标记压缩可以有效提高算法的有效性和效率,PMLLCom在预测大标记空间下未标记样本的标记方面取得了优于现有解决方案的性能。(3)针对偏多标记学习方法假设每个训练样本一定存在噪声标记这一假设仍旧不是十分符合一些现实场景的问题,本文提出噪声环境下基于标记纠正的多标记文本分类方法(LCN)。与偏多标记学习假设每个训练样本的标记以候选标记集合方式给出不同,LCN假设数据在标注时每个训练样本的非真实标记有一定概率转化为其标记,即噪声标记。LCN通过一种端到端的方式实现标记纠正和多标记分类器的联合学习。LCN包含两个模块:标记纠正模块和分类模块。在标记纠正模块中,LCN利用标记语义信息和特征信息学习每个类的类别原型集合。这些原型被用来计算与提取的深度特征之间的相似度以纠正每个训练样本的标记。在分类模块中,分类器将每个样本的原始标记和纠正后标记结合,一起作为监督信息指导分类器训练过程。这两个模块通过统一框架结合在一起,并通过交替优化方式训练。在两个多标记文本基准数据集上的大量实验结果表明,LCN可以有效地降低噪声标记对分类器性能的影响,表明其优于现有的方法。

基于动量对比学习的数字病理图像弱监督分类方法研究

这是一篇关于数字病理图像,弱监督学习,辅助诊断,对比学习,医疗影像分析的论文, 主要内容为长期以来,癌病在全球内严重危害人体健康,其发生率和致死率一直居高不下。在实际临床治疗中,组织病理学检验始终是治疗肿瘤最直接、准确的。但是,组织病理图像诊断需要病理学家在高倍率下观察细胞的结构变换,这要求病理学家具有极高的水平,国内的高水平的病理学家极度匮乏。近年来,人工智能技术在医学影像领域的许多方面取得了惊人的成就,组织病理图像的智能诊断也取得了巨大进步。现有的一些研究通常依赖于病理学家对病患区域进行像素级标注,但是,通常情况下获取像素级注释存在各种各样的的限制,这严重影响了数字病理图像智能化分析的发展。为了解决这一问题,现有的方法通常利用弱监督多实例学习(Multiple Instance Learning,MIL)方法对数字病理图像进行分类。虽然MIL算法在数字病理图像上得到了广泛的应用,但是依然存在一些待解决的问题。首先,在将数字病理图裁剪为图块之后,需要一个特征提取器来降低维度。通常,特征提取器是在Image Net(自然图像数据集)上预训练的。众所周知,自然图像和组织病理学图像之间存在显着差异,这会导致特征提取器难以提取判别性特征,降低下游分类任务的性能。其次,传统的MIL方法假设数字病理图像中的所有图块都是独立的,从而忽略了它们之间的潜在关系。再次,数字病理图像包含不同分辨率的图像,如何高效融合不同分辨率的信息也是数字病理图像分类任务中的重要工作。为了解决上述挑战,本文提出一种基于动量对比学习的数字病理图像弱监督分类框架,具体来说主要的工作及创新点如下所示:(1)在特征提取方面,基于数字病理图分辨率高、标注信息难获取等特点,论文提出了使用对比学习来训练数字病理图像的特征提取器。与传统方法使用在Image Net上预训练的特征提取器相比,对比学习训练的特征提取器能够提取更加具有判别性的特征并且能够有效过滤数字病理图像染色不均给模型带来的影响。(2)在分类算法方面,针对传统基于MIL对数字病理图像进行分类的方法丢失空间结构信息的问题。本文提出了一种双分支的分类方法,方法通过Transformer来捕获数字病理图像的全局表示,通过卷积神经网络来提取数字病理图像的局部特征,并以交互的方式进行融合,最大程度的捕获了数字病理图像的局部和全局信息。(3)在多尺度信息融合方面,为了更够获取数字病理图更加全面的描述,提出了一种基于金字塔级联策略的多尺度信息融合方法,有效的捕获了不同尺度下不同级别的纹理信息,从而进一步提高了模型的准确性。