面向演化数据流的可靠性半监督学习研究
这是一篇关于在线学习,半监督学习,可靠性,深度度量学习,类别不平衡的论文, 主要内容为随着5G应用和物联网技术的飞速发展,数据流挖掘所涉及的应用场景变得越来越丰富。例如,农业物联网数据流挖掘、网络数据流入侵检测、推荐系统等领域都有数据流挖掘的需求。与传统的静态数据相比,演化数据流数据通常具有如下特点:(1)数据流实时性强且数据量大,导致对数据标注的成本高且难度大;(2)数据流分布具有动态演化的特性,这使得传统模型无法自适应数据分布的动态变化;(3)类别动态不平衡问题,即数据的类别不平衡比例和类别可能随着数据流演化而发生变化。虽然目前也有不少工作针对上述问题进行研究,但这些工作也存在各种问题与不足之处包括:(1)大部分研究直接通过对原始数据进行学习,缺乏对数据更精细的描述且原始数据可能无法满足半监督学习假设;(2)在利用无标签数据进行训练时,缺乏对样本可靠性的进一步分析,无法保证算法稳定的可靠性;(3)现有研究对类别不平衡检测灵活度较差,无法有效加强对少数类的表达能力。针对上述问题,本研究的主要创新点如下:第一、针对数据流原始表征可能无法满足半监督假设而导致的可靠性问题,本研究提出了基于深度对比度量的多代理半监督类别均衡表征学习算法,算法通过端到端的类别均衡半监督网络学习到类别均衡的低维样本表征,然后基于类别均衡的表征,提出多代理度量学习,使得最终学到的表征之间更具有区分度,更符合半监督假设,提高数据流半监督模型可靠性。第二、针对概念漂移下半监督数据流算法的可靠性问题,在基于上述表征的前提下,本研究提出了基于动态微簇的可靠性维护策略,算法为每个微簇维护一个可靠性值,并且仅使用预测可靠性高于一定阈值的样本训练模型,同时利用有标签数据局部分布一致性对其邻居微簇可靠性进行更新。算法还维护最新的无标签微簇,并使用可靠性标签传播的方法利用可靠的无标签微簇。第三、针对数据流类别不平衡检测灵活度差,少数类表达能力不足的问题,本研究提出了基于可靠性微簇的类别不平衡检测和处理方法,通过利用微簇统计各类别样本数,同时提出了基于人工少数类过采样方法的方法,当检测到类别不平衡时,通过生成一定数量的少数类样本来提高模型对少数类的学习能力。本文通过在真实数据集和人工数据集上进行大量的实验,实验结果表明算法能有效提高模型的可靠性和有效性。
端到端实体关系抽取算法研究与应用
这是一篇关于实体关系抽取,端到端抽取,半监督学习,神经网络,知识图谱的论文, 主要内容为实体关系抽取是自然语言处理领域的一个重要分支,是指从非结构化或者半结构化的文本中抽取出用户感兴趣的内容,并将其组织成结构化文本的文本处理技术,是知识图谱构建中知识获取最重要的工作。本文致力于端到端实体关系抽取算法研究,从“模型”和“数据”两方面出发,分析解决了目前端到端实体关系抽取无法完成重叠三元组抽取的问题,并缓解了实体关系抽取任务中所存在的三元组漏标和标注数据稀缺问题。本文在分析和总结现有实体关系抽取方法的存在问题和不足基础上,提出了一个基于多层序列标注和多信息联合标注策略的端到端实体关系抽取模型。该模型利用两段序列标注的方法从“主体实体”抽取和“客体实体-关系”抽取两个方面完成自由文本中的实体关系三元组抽取,并利用了联合训练机制,同时完成两个子模型的训练。在SKE数据和NYT数据集上,该模型的性能超过了本文所选的所有对比模型,在借助BERT模型作为编码器的情况下,F1-Score分别达到了80.5%和76.6%。针对标注数据中的三元组漏标问题,本文从“正样本减少”和“负样本误标”两方面的影响展开研究。为了量化“正样本减少”和“负样本误标”对模型训练带来的影响,引入了一个调节损失函数来计算这两方面影对模型带来的F1-Score下降比例。为了缓解三元组漏标问题,提出了一种基负采样训练方法,并通过实验证明了该方法的有效性。针对标注数据稀缺问题,本文对Tri-Training半监督算法在未标注数据预处理、模型初始化、模型迭代三个阶段进行了改进。在实验部分,为了验证该半监督算法在实体关系抽取任务上的有效性,我们对训练数据采用了多个比例的下采样来模拟各个数量级下的模型训练任务。通过与监督训练和改进前的Tri-Training算法进行对比试验,证明了本文改进的Tri-Training算法能够很好的缓解标注数据稀缺问题。最后将本文的研究成果应用到实际场景下的知识图谱构建中。通过少量的人工标注数据和大量未标注数据相结合的半监督方式完成了实体关系抽取模型的训练,并用该模型在大量非结构化数据上进行三元组抽取。本文通过多轮人工标注的方式从非结构化数据中构建了一个高质量的测试集,并用测试集对模型的抽取效果进行了测评。实验结果表明本文的实体关系抽取方法可以很好的解决实际应用下的“重叠三元组”、“三元组数据漏标”和“标注数据稀缺”问题。
基于云边协同的工业产品表面缺陷检测技术研究及应用
这是一篇关于工业应用,缺陷检测,轻量化,注意力机制,半监督学习,云边协同系统的论文, 主要内容为随着我国工业的快速发展,生产自动化、智能化是必然趋势,由于工业产品表面缺陷在生产过程中比较常见,这就使得表面缺陷检测相关技术成为近年来研究的重点,再加上深度学习在图像处理领域的快速发展,很多深度学习算法被用在缺陷检测领域。在实际应用场景中主流的基于深度学习的缺陷检测系统主要可以分为专注于检测模型训练和模型管理的云平台系统以及专注于缺陷检测的业务系统两部分,为了提高云平台系统和业务系统之间的协作能力,本文设计了一个基于云边协同的缺陷检测系统架构,以促进云平台系统和检测系统之间的数据交互和业务协同,从而提升检测模型性能和边缘设备检测效果。另外在大多数工业缺陷检测场景中,工厂对于自动化检测的成本要求较高,所以小型化、低成本的边缘计算设备成为部署缺陷检测模型和检测系统的较优选择,为满足模型在小型化设备中部署的需求,本文以YOLOv5模型为基线网络,对模型的轻量化方法及轻量化模型的精度提升方法进行了研究。本文主要研究工作总结如下:1.本文首先围绕工业场景下缺陷检测算法轻量化进行研究,在本研究中我们使用YOLOv5s作为基础网络模型,将Ghost Net与YOLOv5s模型结合,使用Ghost卷积替换原网络中的卷积,达到模型轻量化的效果,然后结合锚框优化、注意力机制和多尺度特征融合等方法进行检测精度提升,最终得到一个轻量化且高效的模型。2.引入基于教师学生模型的半监督算法,并将其与轻量化的网络模型相结合,利用数据增强等手段,使用无标签数据提升模型精度,设计相关实验验证该模型在工业产品表面缺陷检测场景下的有效性。3.结合工业缺陷检测场景的应用需求,本研究基于嵌入式终端设备设计了软硬结合的边缘缺陷检测系统,并基于模型管理、模型进化等需求设计了云边一体的缺陷检测深度学习管理平台,使模型得到统一管理,通过边缘设备,云平台可以收集到更完整的缺陷样本,并将缺陷样本应用到缺陷检测模型的进化中,同时云边一体的设计可以使得边缘设备的模型更新更加简便,在云平台系统中设计的协同检测功能可以辅助提升模型精度。
宽度学习系统在微波器件优化设计中的应用
这是一篇关于宽度学习系统,卷积神经系统,残差网络,半监督学习,微波器件优化设计的论文, 主要内容为在现代通信技术中,微波贴片天线、功分器、定向耦合器、滤波器、移相器等微波器件广泛应用于地面通信、遥感遥测、无线通信、雷达微波系统等应用领域中,且随着计算机技术和无线通信技术的发展,对微波器件的性能要求逐渐提高。因此,微波器件的优化设计问题是一个重要的研究内容,其难点在于其使用电磁仿真软件进行优化设计时需要优化的尺寸参数较多、耗时较长有时难以得到最优解。因此,基于代理模型的辅助优化方法在微波器件优化设计领域中逐渐流行,通过利用计算成本较低的代理模型来指导电磁仿真软件实现快速优化设计,对解决复杂射频微波器件的优化设计问题具有重要的研究意义,实现将微波器件的尺寸参数等作为替代模型输入并对其进行训练,准确、快速的预测微波器件对应尺寸的电磁性能参数,大大减少了运算时间。目前较流行的代理模型是使用深度神经网络、智能优化算法、高斯过程对微波器件参数化建模来辅助电磁仿真软件进行优化设计。针对本文研究的替代模型需要处理的微波器件数据集为中、小型数据集的问题,本文研究基于随机向量函数连接神经网络的宽度学习系统,其可以针对中、小型数据快速建立模型,并实现精度较高的回归预测,具有更灵活的结构和稳定性;宽度学习系统随机生成输入数据和特征节点之间的连接权重,生成特征节点的连接权重随机生成后使用稀疏自编码算法进行微调,之后特征节点和增强节点整合为输入特征层连接到输出层,利用岭回归计算输入特征层的伪逆矩阵,最后计算输出权重。针对电磁仿真软件获得样本数据的计算成本较高的问题,本文在研究宽度学习系统的基础上,改进了其输入特征层和输出层的生成方式;并研究了协同式半监督学习系统,提高替代模型的预测精度,并提高样本数据的使用率,快速完成微波器件的优化设计。主要内容如下:(1)简要介绍了宽度学习系统、卷积神经系统和残差网络的基本工作原理,接着介绍了半监督学习的分类和代表算法,最后给出了MATLAB联合HFSS仿真的方法流程。(2)研究了基于卷积的宽度学习系统,称为卷积—宽度学习系统,利用卷积层对输入数据进行初步特征提取后与原样本数据进行融合增强;并将其用于矩形、圆形微带天线的谐振频率实验来验证模型的回归性能;最后将其应用到矩形口径喇叭天线的优化设计中,并得到较好的优化设计结果。(3)研究了基于残差网络的卷积—宽度学习系统,称为卷积—堆叠宽度学习系统,利用相关尺寸变量数据和对应的回波损耗扫频数值训练模型,将其用于微带八木天线和威尔金森功分器的优化设计,并得到较好的优化设计结果。(4)研究了基于半监督学习的宽度学习系统,称为协同式半监督宽度学习系统,使用改进的协同式算法通过训练两个学习模型来提高模型精度,将卷积—宽度学习系统和卷积—堆叠宽度学习系统作为两个学习器进行训练,减少仿真所需要时间,使用SIW孔径耦合微带天线与径向贴片阵列天线验证该模型的有效性,并得到较好的优化设计结果。
宽度学习系统在微波器件优化设计中的应用
这是一篇关于宽度学习系统,卷积神经系统,残差网络,半监督学习,微波器件优化设计的论文, 主要内容为在现代通信技术中,微波贴片天线、功分器、定向耦合器、滤波器、移相器等微波器件广泛应用于地面通信、遥感遥测、无线通信、雷达微波系统等应用领域中,且随着计算机技术和无线通信技术的发展,对微波器件的性能要求逐渐提高。因此,微波器件的优化设计问题是一个重要的研究内容,其难点在于其使用电磁仿真软件进行优化设计时需要优化的尺寸参数较多、耗时较长有时难以得到最优解。因此,基于代理模型的辅助优化方法在微波器件优化设计领域中逐渐流行,通过利用计算成本较低的代理模型来指导电磁仿真软件实现快速优化设计,对解决复杂射频微波器件的优化设计问题具有重要的研究意义,实现将微波器件的尺寸参数等作为替代模型输入并对其进行训练,准确、快速的预测微波器件对应尺寸的电磁性能参数,大大减少了运算时间。目前较流行的代理模型是使用深度神经网络、智能优化算法、高斯过程对微波器件参数化建模来辅助电磁仿真软件进行优化设计。针对本文研究的替代模型需要处理的微波器件数据集为中、小型数据集的问题,本文研究基于随机向量函数连接神经网络的宽度学习系统,其可以针对中、小型数据快速建立模型,并实现精度较高的回归预测,具有更灵活的结构和稳定性;宽度学习系统随机生成输入数据和特征节点之间的连接权重,生成特征节点的连接权重随机生成后使用稀疏自编码算法进行微调,之后特征节点和增强节点整合为输入特征层连接到输出层,利用岭回归计算输入特征层的伪逆矩阵,最后计算输出权重。针对电磁仿真软件获得样本数据的计算成本较高的问题,本文在研究宽度学习系统的基础上,改进了其输入特征层和输出层的生成方式;并研究了协同式半监督学习系统,提高替代模型的预测精度,并提高样本数据的使用率,快速完成微波器件的优化设计。主要内容如下:(1)简要介绍了宽度学习系统、卷积神经系统和残差网络的基本工作原理,接着介绍了半监督学习的分类和代表算法,最后给出了MATLAB联合HFSS仿真的方法流程。(2)研究了基于卷积的宽度学习系统,称为卷积—宽度学习系统,利用卷积层对输入数据进行初步特征提取后与原样本数据进行融合增强;并将其用于矩形、圆形微带天线的谐振频率实验来验证模型的回归性能;最后将其应用到矩形口径喇叭天线的优化设计中,并得到较好的优化设计结果。(3)研究了基于残差网络的卷积—宽度学习系统,称为卷积—堆叠宽度学习系统,利用相关尺寸变量数据和对应的回波损耗扫频数值训练模型,将其用于微带八木天线和威尔金森功分器的优化设计,并得到较好的优化设计结果。(4)研究了基于半监督学习的宽度学习系统,称为协同式半监督宽度学习系统,使用改进的协同式算法通过训练两个学习模型来提高模型精度,将卷积—宽度学习系统和卷积—堆叠宽度学习系统作为两个学习器进行训练,减少仿真所需要时间,使用SIW孔径耦合微带天线与径向贴片阵列天线验证该模型的有效性,并得到较好的优化设计结果。
基于迁移对比学习的半监督MRI心脏分割研究
这是一篇关于心脏MRI分割,迁移学习,对比学习,半监督学习的论文, 主要内容为近年,心脏类疾病逐渐成为人类健康的主要威胁之一,据世界卫生组织统计,每三例因病死亡者中就有一例患有心脏类疾病。因此,心脏功能的精确评估,对于心脏类疾病的预测及诊断具有十分重要的意义。作为一种非侵入式的心脏检查技术,心脏核磁共振成像(Magnetic Resonance Imaging,MRI)可直观反映心脏的结构特征,被广泛应用于医学临床实践中。对MRI图像中的心脏进行精确分割,有助于医生精确评估心脏功能,可以为医生提供疾病诊断和治疗所需的结构信息。现有的深度学习技术大多采用全监督训练方式,模型性能依赖于大量标注样本,但是心脏结构复杂,标注心脏MRI样本通常需要由经验丰富的医生专家手工勾画,且标注过程中容易受各种因素干扰,导致高质量标注样本规模较小,严重制约了全监督学习模型的性能。为解决目前缺乏标注样本的问题,本文提出了基于迁移对比学习的半监督心脏MRI分割框架,主要内容概括如下:(1)提出了一个具有双编码-单解码结构的对比学习框架CPCL-Net,用于心脏MRI图像分割,具体包括一个主编码器(Major-Encoder,ME)、一个辅助编码器(Auxiliary-Encoder,AE)以及一个共享解码器(ShareDecoder,SD)。MT-Unet是最近应用于医学图像分割领域表现较为优秀的模型,该网络在U-Net网络基础上增加了注意力机制,提高了特征结构信息的表达,因此,CPCL-Net将其作为骨干网络。为了使模型更适用于心脏分割任务,本文还设计了联合像素对比损失,使CPCL-Net可在像素级别直接进行特征学习,通过在像素级别和图像级别分别对训练进行约束,可进一步优化模型,提高特征表示的潜在多样性,并提升分割精度。在实验部分,验证了CPCL-Net的优越性以及联合像素对比损失的有效性。(2)本研究提出的CPCL-Net虽然已取得不错的分割精度,但精度提升不大,因此为进一步提升CPCL-Net的分割精确度,本文设计了动态自适应加权模块,该模块可动态生成重加权更新因子、。自适应重加权因子可调节样本的训练贡献度,因子通过空间注意力模块建模,以强调特征图中的像素贡献度。这可以使模型同时关注样本的训练贡献度和空间像素的贡献度。将两个因子用于辅助网络的动量自适应更新以及调节主编码网络的损失函数,可将难负样本的训练权重从易到难调整,将训练重点放在罕见的难负样本上,增强局部相关特征、抑制不相关特征,从而增强对高级语义信息的辨别能力。实验结果证明,动态自适应加权模块能够有效加强对细节的边缘分割,明显提升CPCL-Net的心脏分割性能。
基于互联网文本的企业间关系挖掘技术研究及应用
这是一篇关于文本挖掘,半监督学习,企业关系挖掘,数据可视化的论文, 主要内容为随着堆积在互联网中的数据呈爆炸性的增长,企业自身的发展迎来了巨大的机遇,商业智能(Business Intelligence,BI)领域的发展使得企业能够从方方面面的数据来源中更全面的认识自己的客户、合作伙伴甚至是竞争对手,与此同时,对海量数据的处理也为企业带来了新的挑战,这方面主要的问题表现在信息过载,大量的数据给人工处理和分析这些数据带来了巨大的困难。企业关系及商业形式瞬息万变,准确、及时的获取周边信息是企业立于不败之地的关键,基于此,需要提出和开发一个新的方法和工具去处理这些海量的互联网数据,发掘企业间的合作与竞争关系网络,并能够及时、快速的监测、分析和展现最新的结果,这样,企业可以及时有效的利用这些关系进行商业决策,通过合作、联合等等来改善市场表现、发现市场规律、减少经营成本。通过大量实验和对比,本文探索出了一种从海量无结构文档中有效的获取企业间竞争和合作关系的方法:“基于指示词的企业关系分类方法”,这是一种半监督的学习方法,该方法通过少量人工标记分类指示词,并以这些指示词作为文本特征来指导分类,且指示词可以自动扩展和自动训练其特征权重,实验证明,该方法具有一定的先进性和实用性。同时,通过对基于互联网文本的企业关系挖掘技术的研究,本文最终可视化的展现了企业关系网络,期望能够简洁、直观、明了、友好的表达最终的研究成果,使得本研究成果能够真正进入企业实际应用,为企业战略决策提供参考价值。
知识驱动的特定领域文本分类方法
这是一篇关于知识驱动,深度学习,文本分类,半监督学习,知识图谱的论文, 主要内容为随着互联网的快速发展,各行各业的信息化程度也越来越高,涌现出大量的特定领域文本。特定领域文本由于其特殊性和专业性,在语义理解上不同于通用领域,普遍存在难以通过字面含义理解、需要结合专业领域知识理解等的情况。除此之外,由于特殊性和专业性,人工标注的代价比通用领域更高,实际可用于训练的有标记语料很少,难以支持大规模训练,导致更难学习语义。(1)针对特定领域有标记样本少、无标记样本多,难以通过字面含义理解的问题,本文提出了一种基于互联网知识的半监督学习文本分类算法。首先,利用互联网知识对样本进行文本扩展,以克服特定领域样本难以通过字面含义理解的问题。然后,提出一种基于浅层学习和深度学习的双视图半监督分类算法(称为Co-DSL算法),使用少量有标记样本和大量无标记样本,以半监督的方式训练分类模型。最后将该方法应用于App分类领域,通过实验证明,该方法在分类效果上明显优于其他传统算法。(2)针对特定领域文本分类任务中,除了样本稀缺之外,特定领域文本一般是非常专业的,包含很多难以从样本中学习到的专业领域知识。针对该问题,本文提出了一种基于知识图谱的深度学习文本分类方法。首先,通过互联网半自动的构建知识图谱。然后,通过实体识别技术,将问题中与知识图谱存在链接的实体的特征引入原文本,达到特征扩展的目的,并使用Bi-LSTM模型进行文本分类。最后,将该方法应用于环保文本分类领域,通过实验证明,通过引入知识图谱,可以有效的提高文本分类准确性。(3)设计并实现了一个多意图混合式智能问答系统。该系统首先基于多领域文本分类识别用户提问的意图,然后基于用户意图调用相应的智能问答模块回答用户的问题。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设海岸 ，原文地址：https://bishedaima.com/lunwen/46573.html
