深度学习优化理论及其应用研究

这是一篇关于人工蜂群算法,神经网络,超参数优化,群体智能算法的论文, 主要内容为近年来,神经网络在各个领域得到了广泛应用,尤其在图像分类问题上表现出优异的性能。然而,神经网络的性能高度依赖于其超参数的选择,不同的超参数设置会导致不同的性能效果。超参数优化问题的特点是运算量大、相关参数相互依赖、范围广、网络架构设计复杂等。因此,传统的人工调参方法存在工作量巨大、计算时长长等问题,且最终结果高度依赖调参和设计者的水平和经验。相比之下,群体智能算法由于其强大的能力、高度的灵活性以及易于并行化等特点而备受各领域研究人员的关注。因此,本文旨在基于群体智能算法研究神经网络超参数的优化问题,并将其应用于图像分类。本文的主要工作包括:(1)针对给定神经网络模型的超参数优化,提出了一种全局最优逐维调整的人工蜂群算法(Artificial Bee Colony Algorithm for Dimensional Optimization of Gbest,GDABC),并将其应用于帕金森诊断上。GDABC算法基于传统人工蜂群算法提出了三点改进:混合编码策略将超参数映射到连续域,范围修剪策略加快算法的收敛,维度调整策略增强算法的局部开采能力。然后,利用该算法优化给定神经网络模型的超参数并在图像分类数据集MNIST上验证优化后的网络模型的性能。最后,针对帕金森在早期难以诊断的问题,利用该算法提出了一种基于深度学习超参数优化的帕金森辅助诊断系统,实验表明经过GDABC算法优化后的Res Net50网络的诊断准确率高于目前的主流的优化方法和帕金森诊断方法。(2)针对给定神经网络模型的超参数优化,提出了一种智能搜索调整的人工蜂群算法(Artificial Bee Colony Algorithm for Intelligent Search Optimization,ISABC),并将其应用于年龄不变的人脸识别上。考虑到GDABC算法后期在优化超参数时可能会陷入局部最优,ISABC算法对侦察蜂采用了反向学习策略有助于算法跳出局部最优。考虑到GDABC算法存在局部搜索能力有限的问题,ISABC算法对维度调整策略加入了圈内舞蹈策略进一步增强算法的开采能力。然后,利用该算法优化给定神经网络模型的超参数,实验证明该算法优化后的模型在图像分类数据集CIFAI10上有更好的性能。最后,针对年龄不变的人脸识别,利用该算法优化网络的超参数,实验表明经过ISABC算法优化后的Res Net18网络提高了人脸识别的准确率。(3)针对未给定神经网络模型的超参数优化(即神经网络结构的设计问题),提出了基于结构搜索的人工蜂群算法(Artificial Bee Colony Algorithm Based on Network Structural Search,NASABC),并将其应用于人体动作识别上。该算法在根据人工蜂群算法设计了编码策略以实现网络结构的编码,提出了新的更新策略以实现网络结构的搜索。最后,在UCI-HAR数据集上,利用NASABC算法自动设计了网络的结构,实现了人体动作行为识别。本文基于人工蜂群算法灵活性高、易于并行化等特点提出了用于优化神经网络超参数的三种智能算法,并利用提出的三种智能算法解决了实际的分类问题。该研究不仅为神经网络超参数优化提供了解决方案,还为提升分类准确率提供了新思路。

面向养老服务领域的双边资源整合模式与资源虚拟化技术

这是一篇关于双边资源整合,养老服务资源虚拟化,关联规则,人工蜂群算法,养老服务系统的论文, 主要内容为发展养老服务业是解决老龄化问题的重要途径之一,加快养老服务业发展对更好的满足养老服务需求及促进养老服务资源的节约与合理利用具有重要意义。在“互联网+”和“云服务”的时代,养老服务提供者逐渐从企业、个人向电商扩展,同时高质量的、满足动态需求的养老服务逐渐得到需求方的青睐;而对养老服务提供商来说,达成战略合作、发挥自身优势、推广增值服务也逐渐成为增强企业竞争力和服务吸引力的关键。在市场上存在大量的养老服务需求和服务资源,对这些资源的虚拟化与整合利用成为养老服务业发展的核心问题。为此,本文以双边资源整合模式为切入点,对养老服务领域的双边资源整合模式与服务资源虚拟化技术进行研究,主要包含以下几方面工作:(1)为实现养老服务系统的科学构建,在养老服务领域引入双边资源整合模式。分析线下养老服务模式的特点和养老服务的领域特性,并对养老服务需求、养老服务资源和虚拟养老服务资源进行定义与分类,在此基础上提出基于双边资源整合的养老服务模式。(2)为统一管理和调度养老服务资源,基于相似性服务集的构建对供需双方养老服务资源的虚拟化进行研究。在养老服务资源形式化定义的基础上,提出养老服务资源虚拟化映射机制和虚拟化策略,并基于Single-Pass相似性养老服务资源聚类算法构建养老服务资源库和提出养老服务资源虚拟化流程。(3)为更好地满足养老服务需求和合理利用养老服务资源,应用FP-growth算法与人工蜂群算法对养老服务资源进行整合优化。依据服务资源间隐含的偏序关系,结合养老服务系统中历史数据的特征,运用关联规则挖掘领域的FP-growth算法解决养老服务资源的静态组合问题,以此提高特定养老服务需求客户的服务满意度。当面对养老服务需求者的动态性需求时,本文在考虑服务质量、服务提供商的信誉度和客户约束条件的基础上,采用一种改进的人工蜂群算法,对动态整合的养老服务资源进行实时调度和管理。(4)为验证以上理论研究的可行性,设计与开发双边资源整合养老服务系统。依据软件工程设计的思想,完成养老服务系统的体系结构设计、功能结构设计、养老服务流程设计和数据库设计,并以方法流程和模块展示的形式阐述了系统的核心功能实现,最后,运用白盒测试和黑盒测试方法对系统进行测试。

基于智能计算的特征选择研究

这是一篇关于人工蜂群算法,特征选择,高维数据,神经架构搜索的论文, 主要内容为分类是机器学习领域的一个重要课题。随着数据获取技术的快速发展,高维数据集越来越普遍,但并不是所有的特征都与分类目标相关。不相关和冗余的特征甚至会降低分类性能。特征选择作为数据挖掘和机器学习中一种重要的数据预处理方法,旨在选择较少的相关和非冗余的特征,以获得与使用所有特征相似甚至更好的分类性能。特征选择本质上是一个NP难问题。随着维数的增长,搜索空间呈指数增长,因此进行穷举搜索是不切实际的,而元启发式搜索技术被认为是替代传统优化技术寻找最优解的有效手段。人工蜂群(Artificial Bee Colony,ABC)算法作为一种元启发式算法,因其鲁棒性强、结构简单、控制参数少、空间探索能力强等优点已被成功应用于众多领域,但在特征选择方面的潜力尚未得到充分研究。本文提出一种基于ABC算法的方法来进行分类问题的特征选择。针对ABC算法收敛速度缓慢,开发能力不足、内存浪费等缺点,本文引入了一种新颖的基于层次的学习机制,将种群划分为若干个层次,各蜜蜂须向更高层次的较优蜜蜂学习;为了在不同的搜索阶段动态地调整算法的探索和开发能力,进一步提出了一种基于种群多样性的自适应层数确定法。此外,采用了一种准确度优先的更新策略,以获得错误率最低且特征数最少的最优特征子集。在12个广泛使用的高维数据集上与8种最先进的特征选择技术进行比较,实验结果表明改进后的ABC算法在分类精度、特征子集大小和计算时间方面均表现出优越性。对于元启发式算法,探索和开发的良好比例是确保成功解决特定优化问题的最重要标志。本文采用了基于多样性测量的实验分析方法,对改进后的ABC算法的探索和开发能力进行定量评价;并进一步评估了基于层次的学习机制、自适应层数确定法以及准确度优先的更新策略对于平衡算法探索和开发的贡献。实验结果表明上述改进有效提升了ABC算法的开发能力,并在搜索过程中实现了全局探索和局部开发之间的动态平衡。现有的大多数CNN架构搜索都是基于CNN组件或构造良好的块,这两种方法通常会生成无效的CNN架构或泛化能力较差的复杂CNN架构。针对此问题,本文基于改进后的ABC算法,提出了一种自动卷积神经网络(Convolutional Neural Network,CNN)架构设计方法,以有效解决图像分类任务。主要通过为ABC算法设计一种新的编码策略来对任意深度的CNN进行编码,以解决架构搜索中无法预知最佳CNN深度并指定编码长度的难题。同时结合跳跃连接促进产生更深的CNN以提升模型的泛化能力。在广泛使用的基准图像分类数据集上对该模型的性能进行验证,实验结果表明,该模型在分类精度、参数数量和消耗的计算资源方面优于现有的自动CNN架构设计算法,甚至能够取得与自动设计+手动调整CNN方法非常相近的分类精度。

深度学习优化理论及其应用研究

这是一篇关于人工蜂群算法,神经网络,超参数优化,群体智能算法的论文, 主要内容为近年来,神经网络在各个领域得到了广泛应用,尤其在图像分类问题上表现出优异的性能。然而,神经网络的性能高度依赖于其超参数的选择,不同的超参数设置会导致不同的性能效果。超参数优化问题的特点是运算量大、相关参数相互依赖、范围广、网络架构设计复杂等。因此,传统的人工调参方法存在工作量巨大、计算时长长等问题,且最终结果高度依赖调参和设计者的水平和经验。相比之下,群体智能算法由于其强大的能力、高度的灵活性以及易于并行化等特点而备受各领域研究人员的关注。因此,本文旨在基于群体智能算法研究神经网络超参数的优化问题,并将其应用于图像分类。本文的主要工作包括:(1)针对给定神经网络模型的超参数优化,提出了一种全局最优逐维调整的人工蜂群算法(Artificial Bee Colony Algorithm for Dimensional Optimization of Gbest,GDABC),并将其应用于帕金森诊断上。GDABC算法基于传统人工蜂群算法提出了三点改进:混合编码策略将超参数映射到连续域,范围修剪策略加快算法的收敛,维度调整策略增强算法的局部开采能力。然后,利用该算法优化给定神经网络模型的超参数并在图像分类数据集MNIST上验证优化后的网络模型的性能。最后,针对帕金森在早期难以诊断的问题,利用该算法提出了一种基于深度学习超参数优化的帕金森辅助诊断系统,实验表明经过GDABC算法优化后的Res Net50网络的诊断准确率高于目前的主流的优化方法和帕金森诊断方法。(2)针对给定神经网络模型的超参数优化,提出了一种智能搜索调整的人工蜂群算法(Artificial Bee Colony Algorithm for Intelligent Search Optimization,ISABC),并将其应用于年龄不变的人脸识别上。考虑到GDABC算法后期在优化超参数时可能会陷入局部最优,ISABC算法对侦察蜂采用了反向学习策略有助于算法跳出局部最优。考虑到GDABC算法存在局部搜索能力有限的问题,ISABC算法对维度调整策略加入了圈内舞蹈策略进一步增强算法的开采能力。然后,利用该算法优化给定神经网络模型的超参数,实验证明该算法优化后的模型在图像分类数据集CIFAI10上有更好的性能。最后,针对年龄不变的人脸识别,利用该算法优化网络的超参数,实验表明经过ISABC算法优化后的Res Net18网络提高了人脸识别的准确率。(3)针对未给定神经网络模型的超参数优化(即神经网络结构的设计问题),提出了基于结构搜索的人工蜂群算法(Artificial Bee Colony Algorithm Based on Network Structural Search,NASABC),并将其应用于人体动作识别上。该算法在根据人工蜂群算法设计了编码策略以实现网络结构的编码,提出了新的更新策略以实现网络结构的搜索。最后,在UCI-HAR数据集上,利用NASABC算法自动设计了网络的结构,实现了人体动作行为识别。本文基于人工蜂群算法灵活性高、易于并行化等特点提出了用于优化神经网络超参数的三种智能算法,并利用提出的三种智能算法解决了实际的分类问题。该研究不仅为神经网络超参数优化提供了解决方案,还为提升分类准确率提供了新思路。

面向养老服务领域的双边资源整合模式与资源虚拟化技术

这是一篇关于双边资源整合,养老服务资源虚拟化,关联规则,人工蜂群算法,养老服务系统的论文, 主要内容为发展养老服务业是解决老龄化问题的重要途径之一,加快养老服务业发展对更好的满足养老服务需求及促进养老服务资源的节约与合理利用具有重要意义。在“互联网+”和“云服务”的时代,养老服务提供者逐渐从企业、个人向电商扩展,同时高质量的、满足动态需求的养老服务逐渐得到需求方的青睐;而对养老服务提供商来说,达成战略合作、发挥自身优势、推广增值服务也逐渐成为增强企业竞争力和服务吸引力的关键。在市场上存在大量的养老服务需求和服务资源,对这些资源的虚拟化与整合利用成为养老服务业发展的核心问题。为此,本文以双边资源整合模式为切入点,对养老服务领域的双边资源整合模式与服务资源虚拟化技术进行研究,主要包含以下几方面工作:(1)为实现养老服务系统的科学构建,在养老服务领域引入双边资源整合模式。分析线下养老服务模式的特点和养老服务的领域特性,并对养老服务需求、养老服务资源和虚拟养老服务资源进行定义与分类,在此基础上提出基于双边资源整合的养老服务模式。(2)为统一管理和调度养老服务资源,基于相似性服务集的构建对供需双方养老服务资源的虚拟化进行研究。在养老服务资源形式化定义的基础上,提出养老服务资源虚拟化映射机制和虚拟化策略,并基于Single-Pass相似性养老服务资源聚类算法构建养老服务资源库和提出养老服务资源虚拟化流程。(3)为更好地满足养老服务需求和合理利用养老服务资源,应用FP-growth算法与人工蜂群算法对养老服务资源进行整合优化。依据服务资源间隐含的偏序关系,结合养老服务系统中历史数据的特征,运用关联规则挖掘领域的FP-growth算法解决养老服务资源的静态组合问题,以此提高特定养老服务需求客户的服务满意度。当面对养老服务需求者的动态性需求时,本文在考虑服务质量、服务提供商的信誉度和客户约束条件的基础上,采用一种改进的人工蜂群算法,对动态整合的养老服务资源进行实时调度和管理。(4)为验证以上理论研究的可行性,设计与开发双边资源整合养老服务系统。依据软件工程设计的思想,完成养老服务系统的体系结构设计、功能结构设计、养老服务流程设计和数据库设计,并以方法流程和模块展示的形式阐述了系统的核心功能实现,最后,运用白盒测试和黑盒测试方法对系统进行测试。

面向养老服务领域的双边资源整合模式与资源虚拟化技术

这是一篇关于双边资源整合,养老服务资源虚拟化,关联规则,人工蜂群算法,养老服务系统的论文, 主要内容为发展养老服务业是解决老龄化问题的重要途径之一,加快养老服务业发展对更好的满足养老服务需求及促进养老服务资源的节约与合理利用具有重要意义。在“互联网+”和“云服务”的时代,养老服务提供者逐渐从企业、个人向电商扩展,同时高质量的、满足动态需求的养老服务逐渐得到需求方的青睐;而对养老服务提供商来说,达成战略合作、发挥自身优势、推广增值服务也逐渐成为增强企业竞争力和服务吸引力的关键。在市场上存在大量的养老服务需求和服务资源,对这些资源的虚拟化与整合利用成为养老服务业发展的核心问题。为此,本文以双边资源整合模式为切入点,对养老服务领域的双边资源整合模式与服务资源虚拟化技术进行研究,主要包含以下几方面工作:(1)为实现养老服务系统的科学构建,在养老服务领域引入双边资源整合模式。分析线下养老服务模式的特点和养老服务的领域特性,并对养老服务需求、养老服务资源和虚拟养老服务资源进行定义与分类,在此基础上提出基于双边资源整合的养老服务模式。(2)为统一管理和调度养老服务资源,基于相似性服务集的构建对供需双方养老服务资源的虚拟化进行研究。在养老服务资源形式化定义的基础上,提出养老服务资源虚拟化映射机制和虚拟化策略,并基于Single-Pass相似性养老服务资源聚类算法构建养老服务资源库和提出养老服务资源虚拟化流程。(3)为更好地满足养老服务需求和合理利用养老服务资源,应用FP-growth算法与人工蜂群算法对养老服务资源进行整合优化。依据服务资源间隐含的偏序关系,结合养老服务系统中历史数据的特征,运用关联规则挖掘领域的FP-growth算法解决养老服务资源的静态组合问题,以此提高特定养老服务需求客户的服务满意度。当面对养老服务需求者的动态性需求时,本文在考虑服务质量、服务提供商的信誉度和客户约束条件的基础上,采用一种改进的人工蜂群算法,对动态整合的养老服务资源进行实时调度和管理。(4)为验证以上理论研究的可行性,设计与开发双边资源整合养老服务系统。依据软件工程设计的思想,完成养老服务系统的体系结构设计、功能结构设计、养老服务流程设计和数据库设计,并以方法流程和模块展示的形式阐述了系统的核心功能实现,最后,运用白盒测试和黑盒测试方法对系统进行测试。

人工蜂群算法的改进及其在图像分割中的应用研究

这是一篇关于单目标优化问题,人工蜂群算法,群智能算法,精英引导策略,图像分割的论文, 主要内容为人工蜂群算法(ABC)是一种基于群体智能的智能优化方法。它是模拟自然界蜜蜂采蜜的社会行为而产生的算法,在各种各样的优化问题上面都具备了良好的搜索性能。一直以来,人工蜂群算法因为性能良好和结构简单的特点变得流行起来。然而,ABC算法的性能往往受开发能力和勘探能力的影响,并且如何去平衡算法中的开发和勘探显得尤为重要。对于某些复杂的问题,ABC算法的解搜索方程虽然有较强的勘探能力,但是其开发能力较差。此外,数字图像处理问题中一直有个较为困难的问题就是图像分割问题,它是计算机视觉领域中的经典问题之一。但同时图像分割问题也一直是一类复杂优化问题。本文利用改进的人工蜂群算法处理图像的灰度阈值分割问题,使用当前比较高效的智能优化算法来解决实际的应用问题,可以实现图像处理自动化。本文主要研究的工作总结如下:(1)针对ABC算法结构简单,面对复杂优化问题较为吃力的情况,提出具有弹性调整的分组引导式人工蜂群算法(Group-guided artificial bee colony algorithm with elastic adjustment strategy,EGABC)。在EGABC中,我们提出了具有弹性调整能力的分组引导策略。EGABC中提出了两种改进策略和一个分组引导模型,对标准ABC算法收敛速度过慢的问题,设计了由精英个体引导的分组引导式策略,把整个种群分成若干个小组,每组的个体都由小组内精英个体或全局最优个体所引导,可以有效利用当前的已知信息来加快算法的收敛速度。其次,为了平衡算法中的勘探和开发能力,添加了动态弹性调整的自适应参数,在算法的进程中可以有效调整算法搜索效率,起到平衡算法勘探和开发性能的作用。为了验证EGABC的有效性,我们在13个基准测试函数和cec2013测试函数上进行了实验。实验与其他多个ABC变体相比较,结果表明了EGABC所提的策略是具备强有力的竞争力且可以有效提高ABC算法的性能。(2)针对图像处理问题中的图像分割问题,引入本文提出的改进的人工蜂群算法EGABC。将改进算法应用于经典的Kapur熵方法和Otsu方法的传统灰度阈值分割问题中,利用改进的人工蜂群算法寻找最优阈值。在灰度阈值分割实验中,采用权威的标准Berkeley分割数据集,峰值信噪比PSNR、结构相似性指标SSIM和特征相似性FSIM这三个比较经典的评估函数。将两种改进策略相结合,得到的改进算法在实验中表明,具有良好的算法性能,具有很强的适应性,可以很好地增强图像分割后的质量和效果。综上所述,我采用改进的人工蜂群算法应用于灰度图像阈值分割中,利用该算法来寻找最优阈值,可以取得更加良好的结果。

深度学习优化理论及其应用研究

这是一篇关于人工蜂群算法,神经网络,超参数优化,群体智能算法的论文, 主要内容为近年来,神经网络在各个领域得到了广泛应用,尤其在图像分类问题上表现出优异的性能。然而,神经网络的性能高度依赖于其超参数的选择,不同的超参数设置会导致不同的性能效果。超参数优化问题的特点是运算量大、相关参数相互依赖、范围广、网络架构设计复杂等。因此,传统的人工调参方法存在工作量巨大、计算时长长等问题,且最终结果高度依赖调参和设计者的水平和经验。相比之下,群体智能算法由于其强大的能力、高度的灵活性以及易于并行化等特点而备受各领域研究人员的关注。因此,本文旨在基于群体智能算法研究神经网络超参数的优化问题,并将其应用于图像分类。本文的主要工作包括:(1)针对给定神经网络模型的超参数优化,提出了一种全局最优逐维调整的人工蜂群算法(Artificial Bee Colony Algorithm for Dimensional Optimization of Gbest,GDABC),并将其应用于帕金森诊断上。GDABC算法基于传统人工蜂群算法提出了三点改进:混合编码策略将超参数映射到连续域,范围修剪策略加快算法的收敛,维度调整策略增强算法的局部开采能力。然后,利用该算法优化给定神经网络模型的超参数并在图像分类数据集MNIST上验证优化后的网络模型的性能。最后,针对帕金森在早期难以诊断的问题,利用该算法提出了一种基于深度学习超参数优化的帕金森辅助诊断系统,实验表明经过GDABC算法优化后的Res Net50网络的诊断准确率高于目前的主流的优化方法和帕金森诊断方法。(2)针对给定神经网络模型的超参数优化,提出了一种智能搜索调整的人工蜂群算法(Artificial Bee Colony Algorithm for Intelligent Search Optimization,ISABC),并将其应用于年龄不变的人脸识别上。考虑到GDABC算法后期在优化超参数时可能会陷入局部最优,ISABC算法对侦察蜂采用了反向学习策略有助于算法跳出局部最优。考虑到GDABC算法存在局部搜索能力有限的问题,ISABC算法对维度调整策略加入了圈内舞蹈策略进一步增强算法的开采能力。然后,利用该算法优化给定神经网络模型的超参数,实验证明该算法优化后的模型在图像分类数据集CIFAI10上有更好的性能。最后,针对年龄不变的人脸识别,利用该算法优化网络的超参数,实验表明经过ISABC算法优化后的Res Net18网络提高了人脸识别的准确率。(3)针对未给定神经网络模型的超参数优化(即神经网络结构的设计问题),提出了基于结构搜索的人工蜂群算法(Artificial Bee Colony Algorithm Based on Network Structural Search,NASABC),并将其应用于人体动作识别上。该算法在根据人工蜂群算法设计了编码策略以实现网络结构的编码,提出了新的更新策略以实现网络结构的搜索。最后,在UCI-HAR数据集上,利用NASABC算法自动设计了网络的结构,实现了人体动作行为识别。本文基于人工蜂群算法灵活性高、易于并行化等特点提出了用于优化神经网络超参数的三种智能算法,并利用提出的三种智能算法解决了实际的分类问题。该研究不仅为神经网络超参数优化提供了解决方案,还为提升分类准确率提供了新思路。