基于深度学习的锻件缺陷检测方法研究

这是一篇关于锻件缺陷检测,目标检测,EfficientNet,超参数优化的论文, 主要内容为汽车制造业高度依赖零件供应支撑,其中锻造的金属汽车零部件更是被广泛使用。但在锻造加工过程中,零件容易产生缺陷,需要进行检测。由于有些缺陷难以直接用肉眼检测,因此很多企业先用荧光磁粉探伤法显示缺陷,工人再用肉眼检测缺陷。但人工检测的方式成本较高,且检测人员疲劳时容易出现误检和漏检。因此实现智能化的荧光磁粉检测具有极为重要的研究意义和实用价值。本文针对以上问题,以汽车用法兰盘和油缸盖为对象,使用机器视觉技术研究锻件检测方法。主要研究工作如下:(1)首先,明确荧光磁粉探伤智能检测的需求。其次,针对检测需求构建锻造零件荧光磁粉探伤缺陷数据集,并搭建智能检测平台。采集到原始缺陷图像共450张,随机选取80%的图像为训练集,10%为测试集,10%为验证集。最后通过数据增强方法得到包含总共1500张图像的数据集。智能检测平台模拟了生产中的实际场景,主要由固定支架、黑光灯和CCD工业相机组成。(2)针对检测需求和数据集特点,基于改进的Efficient Net设计目标识别模型。数据集中目标缺陷有以下特征:首先,缺陷尺度大小不一,形貌特征复杂;其次,目标分布在图像中的各区域却缺陷背景复杂多变;第三,光线条件不佳,导致图像质量较差。针对以上特征,构建了以Efficient Net为主干特征提取网络的深度学习模型,并引入特征金字塔为特征融合层,进而提高模型的多尺度特征融合能力;引入完备交并比和注意力机制以提高模型鲁棒性和检测效率,将最终的模型命名为Efficient Net-F。试验表明,Efficient Net-F的最优模型在测试集上的均值平均精度达到了95.03%。F1得分值为0.96,浮点运算数为1.86B。(3)针对Efficient Net-F的性能对其超参数较为敏感,但超参数手动调整费时费力的问题,提出了一种基于进化算法的超参数优化算法。选取Efficient Net-F中7种不同的关键参数进行优化,最终得到Efficient Net-PSO模型。该超参数优化算法与其他5种不同的算法对比,收敛精度具有明显优势。超参数优化后的目标识别模型检测精度小幅提升。

面向点击率预测模型的自动化机器学习管道的设计与实现

这是一篇关于自动化机器学习,点击率预测模型,超参数优化,数据预处理的论文, 主要内容为随着互联网上的信息量越来越大,如何在海量信息中找到最适合的信息成为了互联网用户的迫切需求,而推荐系统则是能够通过预测用户对信息的点击率进而为用户推荐特定的内容,从而提高用户体验。深度学习技术的发展能够大幅度提升推荐系统算法中点击率预测模型的表现。然而,构建基于深度学习的点击率预测模型仍然面临着很大的问题:(1)构建深度学习模型是一个需要大量重复的工作且十分耗时的过程;(2)推荐系统的工业实践中往往伴随着不断变化的新数据或者新任务,从而需要重新去调整相应的深度学习模型结构以及超参数。针对这样的问题,本课题提出了一个结合了自动化机器学习(Auto ML)和深度点击率预测模型构建(Deepctr)的管道,命名为:Auto-Deepctr。本文实现的Auto-Deepctr管道实现了全流程的深度点击率预测模型的自动化构建。Auto-Deepctr使用机器学习的方法对数据集中的数据特征类型进行预测,然后针对不同的特征类型进行相应的数据预处理操作,实现对数据预处理阶段的自动化。而后本文实现了11个在工业界或者学术界上都具有一定知名度的深度点击率预测模型,这11个模型都是由一系列用于构建深度点击率预测模型的组件而构成。这些组件不仅构成了深度点击率预测模型的层次结构,还定义了各自的超参数搜索空间。最后本文通过实现三个超参数优化算法:随机优化、贝叶斯优化以及遗传算法优化,使用这些超参数优化算法可以实现对各个深度点击率预测模型的超参数自动寻优。本文通过一系列实验证明了Auto-Deepctr管道对于大部分推荐系统数据集的点击率预测任务,都能够做到从输入数据集开始到输出最佳模型的端到端全流程自动化。另外,工程师还能够使用Auto-Deepctr管道中的构成模型的组件来灵活搭建自己的点击率预测模型,然后使用Auto-Deepctr管道的各个超参数寻优算法对该用户构建的模型进行自动寻优。除此之外,本文将Auto-Deepctr管道部署到了一个基于B/S架构的Web应用中去,能够使得非计算机相关的从业人员也能够通过简单的图形化操作使用Auto-Deepctr管道构建深度点击率预测模型。

面向点击率预测模型的自动化机器学习管道的设计与实现

这是一篇关于自动化机器学习,点击率预测模型,超参数优化,数据预处理的论文, 主要内容为随着互联网上的信息量越来越大,如何在海量信息中找到最适合的信息成为了互联网用户的迫切需求,而推荐系统则是能够通过预测用户对信息的点击率进而为用户推荐特定的内容,从而提高用户体验。深度学习技术的发展能够大幅度提升推荐系统算法中点击率预测模型的表现。然而,构建基于深度学习的点击率预测模型仍然面临着很大的问题:(1)构建深度学习模型是一个需要大量重复的工作且十分耗时的过程;(2)推荐系统的工业实践中往往伴随着不断变化的新数据或者新任务,从而需要重新去调整相应的深度学习模型结构以及超参数。针对这样的问题,本课题提出了一个结合了自动化机器学习(Auto ML)和深度点击率预测模型构建(Deepctr)的管道,命名为:Auto-Deepctr。本文实现的Auto-Deepctr管道实现了全流程的深度点击率预测模型的自动化构建。Auto-Deepctr使用机器学习的方法对数据集中的数据特征类型进行预测,然后针对不同的特征类型进行相应的数据预处理操作,实现对数据预处理阶段的自动化。而后本文实现了11个在工业界或者学术界上都具有一定知名度的深度点击率预测模型,这11个模型都是由一系列用于构建深度点击率预测模型的组件而构成。这些组件不仅构成了深度点击率预测模型的层次结构,还定义了各自的超参数搜索空间。最后本文通过实现三个超参数优化算法:随机优化、贝叶斯优化以及遗传算法优化,使用这些超参数优化算法可以实现对各个深度点击率预测模型的超参数自动寻优。本文通过一系列实验证明了Auto-Deepctr管道对于大部分推荐系统数据集的点击率预测任务,都能够做到从输入数据集开始到输出最佳模型的端到端全流程自动化。另外,工程师还能够使用Auto-Deepctr管道中的构成模型的组件来灵活搭建自己的点击率预测模型,然后使用Auto-Deepctr管道的各个超参数寻优算法对该用户构建的模型进行自动寻优。除此之外,本文将Auto-Deepctr管道部署到了一个基于B/S架构的Web应用中去,能够使得非计算机相关的从业人员也能够通过简单的图形化操作使用Auto-Deepctr管道构建深度点击率预测模型。

深度学习优化理论及其应用研究

这是一篇关于人工蜂群算法,神经网络,超参数优化,群体智能算法的论文, 主要内容为近年来,神经网络在各个领域得到了广泛应用,尤其在图像分类问题上表现出优异的性能。然而,神经网络的性能高度依赖于其超参数的选择,不同的超参数设置会导致不同的性能效果。超参数优化问题的特点是运算量大、相关参数相互依赖、范围广、网络架构设计复杂等。因此,传统的人工调参方法存在工作量巨大、计算时长长等问题,且最终结果高度依赖调参和设计者的水平和经验。相比之下,群体智能算法由于其强大的能力、高度的灵活性以及易于并行化等特点而备受各领域研究人员的关注。因此,本文旨在基于群体智能算法研究神经网络超参数的优化问题,并将其应用于图像分类。本文的主要工作包括:(1)针对给定神经网络模型的超参数优化,提出了一种全局最优逐维调整的人工蜂群算法(Artificial Bee Colony Algorithm for Dimensional Optimization of Gbest,GDABC),并将其应用于帕金森诊断上。GDABC算法基于传统人工蜂群算法提出了三点改进:混合编码策略将超参数映射到连续域,范围修剪策略加快算法的收敛,维度调整策略增强算法的局部开采能力。然后,利用该算法优化给定神经网络模型的超参数并在图像分类数据集MNIST上验证优化后的网络模型的性能。最后,针对帕金森在早期难以诊断的问题,利用该算法提出了一种基于深度学习超参数优化的帕金森辅助诊断系统,实验表明经过GDABC算法优化后的Res Net50网络的诊断准确率高于目前的主流的优化方法和帕金森诊断方法。(2)针对给定神经网络模型的超参数优化,提出了一种智能搜索调整的人工蜂群算法(Artificial Bee Colony Algorithm for Intelligent Search Optimization,ISABC),并将其应用于年龄不变的人脸识别上。考虑到GDABC算法后期在优化超参数时可能会陷入局部最优,ISABC算法对侦察蜂采用了反向学习策略有助于算法跳出局部最优。考虑到GDABC算法存在局部搜索能力有限的问题,ISABC算法对维度调整策略加入了圈内舞蹈策略进一步增强算法的开采能力。然后,利用该算法优化给定神经网络模型的超参数,实验证明该算法优化后的模型在图像分类数据集CIFAI10上有更好的性能。最后,针对年龄不变的人脸识别,利用该算法优化网络的超参数,实验表明经过ISABC算法优化后的Res Net18网络提高了人脸识别的准确率。(3)针对未给定神经网络模型的超参数优化(即神经网络结构的设计问题),提出了基于结构搜索的人工蜂群算法(Artificial Bee Colony Algorithm Based on Network Structural Search,NASABC),并将其应用于人体动作识别上。该算法在根据人工蜂群算法设计了编码策略以实现网络结构的编码,提出了新的更新策略以实现网络结构的搜索。最后,在UCI-HAR数据集上,利用NASABC算法自动设计了网络的结构,实现了人体动作行为识别。本文基于人工蜂群算法灵活性高、易于并行化等特点提出了用于优化神经网络超参数的三种智能算法,并利用提出的三种智能算法解决了实际的分类问题。该研究不仅为神经网络超参数优化提供了解决方案,还为提升分类准确率提供了新思路。

基于堆叠宽度学习的三维点云物体识别及其超参数优化研究

这是一篇关于堆叠宽度学习系统,点云,多元自适应回归样条,超参数优化,三维点云物体识别的论文, 主要内容为随着深度学习的不断发展,基于点云和多视角的三维点云识别模型不断被提出,一些研究通过融合点云和多视角数据进行识别,取得了显著成果。现有的方法通过复杂的深度学习结构融合两种模态的数据以学习统一的3D形状描述符,这增加了多模态特征融合的计算复杂性。因此在本文中,一种基于多视图和点云数据融合的三维点云物体识别算法被提出。堆叠宽度学习系统被证明对一维数据有效,因此该算法通过直接将拼接的多模态特征作为堆叠宽度学习系统的输入来快速执行三维点云物体识别。针对堆叠宽度学习系统超参数的设置问题,本文提出了一种参数区间自适应调整的基于多元自适应回归样条的超参数优化算法,该算法可以确定堆叠宽度学习系统中宽度学习块的最优超参数。本文的主要贡献如下:1、提出了一种基于数据驱动的自适应区间超参数优化算法。针对现有的基于多元自适应回归样条的超参数优化算法的不足,为堆叠宽度学习中的宽度学习块进行自适应区间超参数调优。通过将对超参数优化的昂贵黑盒函数优化问题的求解转化为对多元自适应回归样条回归模型的求解,减少进化算法的计算资源的消耗。为了验证算法的有效性,本文在NORB分类数据集和10个UCI回归数据集上与现有的算法比较。实验证明,该算法能取得更优的超参数。2、提出了一种基于多视图和点云数据的三维点云物体识别算法。首先,用Res Net提取多视图分支的多视图特征,然后与Point MLP提取的点云特征进行融合,最后输入到堆叠宽度学习系统之中。为了验证该算法的有效性,在公共点云数据集Model Net40和Scan Object NN上与最先进的方法进行比较。PVSBLS在Model Net40测试集上达到了95.5%的准确率,超越了已有的算法。PVSBLS在Scan Object NN测试集上达到了87.0%的准确率,在Point MLP准确率的基础上提升了1.6%。在最后与现有的基于多视图和点云数据的方法在时间效率上进行对比,实验证明本文提出的方法能有效的增加训练效率。3、本文基于三维点云物体识别的算法研究,开发了基于多视图数据和点云数据的物体识别系统。该系统采用了开源编程库Point Cloud Library(PCL)和C++图形用户界面库QT进行开发,实现了点云数据的读取与可视化、点云去噪、多视图生成和三维点云物体识别等功能。通过该系统,开发人员可以对三维点云物体识别进行相关研究工作,并使用其提供的基础测试工具对相关技术进行验证和优化。

基于深度学习的胸部X光片下肺炎智能诊断技术研究

这是一篇关于肺炎,胸部X光片,深度学习,多任务学习,超参数优化,智能诊断的论文, 主要内容为基于医学影像的深度学习技术被广泛应用于各种疾病的智能诊断方面,尤其是在现今全面放开、流感频发的环境下,医疗资源负担在肺炎类型的检测方面急剧增加。使用深度学习技术开发深度学习模型,并进一步部署计算机辅助诊断系统对缓解医护人员负担、提升诊断效率具有重大意义。在众多医学影像类型中,胸部X光片由于其便携性、快捷性以及对患者身体的低负担,更容易被患者所接受,而在开发深度学习模型的过程中,由于其公共数据集的完善,大多研究也基于胸部X光片进行。由不同感染因子引起的不同类型肺炎对应着不同的治疗方案,因此,本研究的目标是开发一种深度学习模型从胸部X光片中同时精准识别正常、COVID-19、其他病毒性肺炎和细菌性肺炎四种类别样本。针对上述肺炎分类任务而言,深度学习模型的开发有两个关键点:针对分类任务如何尽量提升模型的肺炎细分类能力,以及训练出的模型如何避免出现域内泛化性降低的问题。第一个关键点的肺炎细分类能力即为模型对不同类型肺炎之间的分类能力,解决方式通常是加入各种注意力模块对基础网络架构进行改进,使模型更加关注不同肺炎图像样本之间具有差异性的区域。第二个关键点的域内泛化性即不具备外部测试的情况下的训练-测试泛化性,通常的解决方式是设计优化策略干预模型的训练过程。本研究针对这两个关键点分别从网络架构优化和模型训练优化两个角度出发展开探索,最终提出多分支融合辅助学习策略,并将其进行部署,初步开发了CXR肺炎智能诊断系统,主要研究如下:(1)在网络架构优化方面,本文在提出一种结合可变形卷积和高效通道注意力的双重注意模块的基础上,对单任务和多任务两种网络架构模式在肺炎智能诊断任务上的优劣进一步探索,前者使用一个具有单输出结构的网络直接执行多分类任务,而后者使用一个具有多输出结构的网络同时执行多个具有相关性的任务,提出了单任务分支双重注意网络和任务驱动型多分支双重注意网络。实验结果表明,任务驱动型多分支双重注意网络在整个数据集上的分类准确率能够达到94.90%,相比单任务模式的网络提升了0.2～4.7个百分点。(2)在模型训练优化方面,本文提出自适应权重惩罚超参数,将单一的权重惩罚因子扩展到逐参数的权重惩罚因子,对模型的每个参数进行不同等程度的权重衰减,并且基于与训练集独立的一小批在线验证集的损失值,使用基于梯度的超参数优化算法对逐参数的权重惩罚因子进行自适应调节。实验结果表明,仅将该优化策略应用到一个基础网络上就能使其分类性能在整个数据集上从90.25%提升至95.03%,说明在肺炎智能诊断任务上域内泛化性比模型的肺炎细分类能力影响更大。(3)综合两个角度的研究结果提出问题:为了提升模型的肺炎细分类能力而进行各种网络架构优化会使模型复杂度提升,从而增大过拟合风险,使改进的网络架构不能充分发挥其优势,提升的分类性能会被降低的域内泛化性抵消一部分。出于提升模型的肺炎细分类能力同时保持模型复杂度不变的目的,使用辅助学习策略结合基于梯度的超参数优化策略,将网络架构优化用于辅助任务的分支结构设计,然后将该部分视作模型的超参数,仅用于辅助模型训练而不参与训练完毕的模型应用阶段。通过训练阶段的超参数优化对模型参数产生影响来提升模型的肺炎细分类能力,不改变最终的模型复杂度,并且基于在线验证集更新超参数提升模型域内泛化性。提出的多分支融合辅助学习策略在整个数据集上的分类准确率可以达到95.82%,相比其他先进算法提升了0.4～0.8个百分点,并且在各个类别上的指标都更优。综上所述,提出的多分支融合辅助学习策略能够对肺炎智能诊断任务具有较好的分类性能,能够实现肺炎快速筛查的目标,为模型设计提供了一种新颖角度。

基于深度学习的锻件缺陷检测方法研究

这是一篇关于锻件缺陷检测,目标检测,EfficientNet,超参数优化的论文, 主要内容为汽车制造业高度依赖零件供应支撑,其中锻造的金属汽车零部件更是被广泛使用。但在锻造加工过程中,零件容易产生缺陷,需要进行检测。由于有些缺陷难以直接用肉眼检测,因此很多企业先用荧光磁粉探伤法显示缺陷,工人再用肉眼检测缺陷。但人工检测的方式成本较高,且检测人员疲劳时容易出现误检和漏检。因此实现智能化的荧光磁粉检测具有极为重要的研究意义和实用价值。本文针对以上问题,以汽车用法兰盘和油缸盖为对象,使用机器视觉技术研究锻件检测方法。主要研究工作如下:(1)首先,明确荧光磁粉探伤智能检测的需求。其次,针对检测需求构建锻造零件荧光磁粉探伤缺陷数据集,并搭建智能检测平台。采集到原始缺陷图像共450张,随机选取80%的图像为训练集,10%为测试集,10%为验证集。最后通过数据增强方法得到包含总共1500张图像的数据集。智能检测平台模拟了生产中的实际场景,主要由固定支架、黑光灯和CCD工业相机组成。(2)针对检测需求和数据集特点,基于改进的Efficient Net设计目标识别模型。数据集中目标缺陷有以下特征:首先,缺陷尺度大小不一,形貌特征复杂;其次,目标分布在图像中的各区域却缺陷背景复杂多变;第三,光线条件不佳,导致图像质量较差。针对以上特征,构建了以Efficient Net为主干特征提取网络的深度学习模型,并引入特征金字塔为特征融合层,进而提高模型的多尺度特征融合能力;引入完备交并比和注意力机制以提高模型鲁棒性和检测效率,将最终的模型命名为Efficient Net-F。试验表明,Efficient Net-F的最优模型在测试集上的均值平均精度达到了95.03%。F1得分值为0.96,浮点运算数为1.86B。(3)针对Efficient Net-F的性能对其超参数较为敏感,但超参数手动调整费时费力的问题,提出了一种基于进化算法的超参数优化算法。选取Efficient Net-F中7种不同的关键参数进行优化,最终得到Efficient Net-PSO模型。该超参数优化算法与其他5种不同的算法对比,收敛精度具有明显优势。超参数优化后的目标识别模型检测精度小幅提升。

基于商品名称的电商平台商品自动分类的研究与实现

这是一篇关于商品自动分类,机器学习,随机森林,特征选择,超参数优化的论文, 主要内容为随着大数据、云计算等新兴技术的不断涌现和我国电商平台的迅速发展,互联网中产生了大量的商品数据。伴随着时间的推移,商品的数量越来越多,如何在庞杂无章的海量商品中获取需要的商品,并且精细而准确地挖掘出自己所需商品的信息和对这些多种多样的商品进行分门别类的组织和管理就显得尤为重要。本文使用机器学习的流程将这些商品数据进行统计分析以获得规律,然后再运用这些规律对未知商品数据进行预测和分类。主要研究内容和结果如下:1.对原始数据集进行简单建模发现商品数据特征和数据类别存在数据不平衡的问题,研究爬虫方法、搜索策略和反爬策略,使用Python网络爬虫技术在电商平台采集数据生成新的数据集。对数据集进行数据清洗,包括简单数据清洗、重复值、缺失值、异常值处理,目的是为了保证数据的一致性、完整性、唯一性等,使其具有较高的“质量”。2.对数据进行预处理,包括中英文分词、特征向量化、特征降维、特征选择等处理,将数据转化成在建模阶段能够使用的数据。分词可以将句子或段落分解成词语,这样,计算机就可以将词语作为最小基本单位进行处理,理解其中的含义,而通过删除停用词、添加语料库等优化方法可以使分词更为准确。由于分类器只能处理数值型的数据,所以需要对数据进行特征向量化,但分词后的词语数量太多,生成的向量维度会很大。通过使用特征降维方法可以极大地降低向量值的维度,同时,使用特征选择中的前向选择特征和反向删除特征方法可以删除无关特征和冗余特征。3.研究了在Bagging算法的基础上扩展,将决策树作为基本单元的随机森林算法,对随机森林算法的生成流程和结合策略进行了分析和介绍。将传统的决策树算法与随机森林算法进行了对比,并结合了利用基尼系数选取特征和指定生成特征子集的大小对随机森林算法的特征选择方法进行了改进,提升了模型的分类性能。4.本文使用Python编程语言、Html语言、My SQL数据库实现了基于商品名称的电商平台商品自动分类系统。对系统各个模块进行了详细的设计和实现,最后对系统进行了功能测试,展示了系统的分类功能界面。系统完成了商品数据的分类任务,根据商品名称就可以比较准确的预测出该商品所属的类别,具有比较重要的现实意义。5.在实验阶段,通过实验数据验证了解决数据不平衡问题的实验效果,进行了决策树算法和随机森林算法对比实验和随机森林算法特征选择改进对比实验。首先使用留出法将数据集中的数据随机抽取20%的数据作为验证集,剩下80%的数据作为训练集,然后使用将交叉验证方法和模型评估方法结合的网格搜索算法调整决策树算法和随机森林算法中的超参数,最后利用性能评价指标评估模型的性能,对实验结果进行分析和对比,得出结论。