基于数值差分的深度学习算法泛化性改进研究
这是一篇关于深度学习,网络结构,优化器,数值差分方法的论文, 主要内容为残差神经网络(Residual neural network,ResNet)是由微软研究院提出的,它的出现极大地改善了深度神经网络训练困难的问题。而随机梯度下降(Sochastic gradient descent,SGD)优化器作为目前最常见的优化器之一,深受从事深度学习相关工作人员的青睐。虽然ResNet和SGD已经足够满足大部分深度学习任务的需求,但它们的泛化性能仍然可以进一步改进。然而,绝大多数ResNet和SGD的改进都依赖于研究人员的长期经验积累以及突发的灵感迸现。不同于常见的改进方法,本文基于数值差分求解常微分方程的过程与ResNet的结构以及SGD优化器调整模型参数的过程的关联性,利用高精度的数值差分方法对ResNet的结构以及SGD的迭代方法进行改进,并主要开展了如下三方面的工作。(1)利用构造的线性多步差分法改进ResNet的网络结构。相关研究表明,ResNet神经网络的前向过程可以视为前向欧拉方法求解常微分方程的过程。通常而言,前向欧拉方法的求解精度是有限的。因此,我们利用更高求解精度的数值差分方法以求解常微分方程。基于此,本文构造了一种高精度的多步数值差分方法(泰勒多步法),并通过数值实验证明了泰勒多步法的优越性。随后,本文利用该方法以改进ResNet,提出了泰勒多步ResNet(Taylor Multi-step ResNet,TM-ResNet),并且在CIFAR 10/100,SVHN,Youtube Face等数据集上验证了TM-ResNet的良好性能和利用数值差分方法改进ResNet类网络的可行性。(2)利用构造的泰勒多步法改进SGD优化器的迭代方法。SGD更新神经网络参数的过程可以被视为前向欧拉方法求解常微分方程的过程。由于前向欧拉方法方法和SGD优化器之间的关系,并且考虑到本文提出的泰勒多步法具有更高的求解精度,本文尝试利用泰勒多步法以改进现有的SGD优化器的迭代方法以提升SGD优化器的泛化性能,提出了泰勒多步优化器(Taylor multi-step SGD,TM-SGD),并且在目标检测,人脸识别,推荐系统以及图像生成任务上,将所其与带动量的SGD优化器,自适应矩估计优化器以及Apollo优化器进行了充分比较。实验结果表明,利用数值差分方法改进SGD优化器是行之有效的方法,并且改进后得到的TM-SGD展现出了良好的泛化性。(3)利用Runge-Kutta法改进SGD优化器的迭代方法。为进一步验证数值差分方法改进SGD优化器的可行性并且考虑到Runge-Kutta方法在数值方法中的重要地位,本文继工作(2)的研究成果,结合SGD优化器与Runge-Kutta方法提出了龙格库塔随机梯度下降算法(Runge-Kutta SGD,RK-SGD)。为验证RK-SGD的泛化性能,我们分别将RK-SGD在图像分类,节点分类,以及疾病预测等7个任务上进行了充分的测试。结果表明,RK-SGD能够在较短的训练次数下,达到令人满意的性能。这一结果再次验证了利用数值差分方法改进SGD优化器的可行性。
肺结节分割的V-Net模型改进研究
这是一篇关于肺结节分割,V-Net模型,损失函数,网络结构,跳跃连接的论文, 主要内容为肺癌是严重影响人类健康的全球性高发疾病,早期的诊断以及提高诊断的准确率可大大减小肺癌引起的死亡率。早期肺癌以肺结节的形式而存在,目前对肺结节的检测主要利用计算机断层扫描技术(Computed Tomography,CT)。如果所有的CT图像都由放射科医生手工筛查,那么这将是一个十分耗时的任务。因此,有必要开发能够定位、分割病灶区域的自动化方法。肺结节与周围组织外观相似,且不同患者的肺结节的位置、大小、数量都是不可预测的,因此肺结节的分割是一个相对困难的任务。传统的图像分割方法提取的图像特征层次较低,无法覆盖所有特征的肺结节,其鲁棒性不高,分割精度有很大的提升空间。基于全卷积神经网络的V-Net模型因其清晰的编码-解码结构,模型泛化能力强,被广泛用于医学图像分割。本文基于V-Net模型对肺部CT图像的肺结节分割算法进行研究。考虑到肺部CT图像的特点以及V-Net模型存在的不足,主要提出了以下三大改进点:(1)V-Net参数量优化考虑到V-Net模型采用三维卷积,且卷积核尺寸较大,因此模型的参数量十分庞大,容易导致模型过拟合,而且庞大的参数量对于内存的消耗较为严重。针对这个问题,对V-Net模型进行优化以降低模型的参数量,同时在每个卷积单元中加入Group Normalization以及Dropout来加速模型收敛以及减轻模型过拟合。(2)V-Net损失函数改进考虑到CT图像中肺结节占比很小,存在前景背景不平衡问题,而初始的V-Net采用的Dice损失函数未能重点关注相对较小的肺结节部分;Dice损失函数可能导致模型训练不稳定。针对这些问题,在参数量优化后的V-Net模型基础上,提出了改进的损失函数,并通过实验验证了对损失函数改进的有效性。(3)V-Net网络结构改进针对肺结节分割存在漏检情况以及肺结节分割的边界不够精准的问题,对V-Net的网络结构进行改进。首先基于短跳跃连接提出了改进的SCV-Net模型,该方法可以更加充分利用特征图信息,肺结节的漏检情况得到了有效的解决;接着在SCV-Net模型的基础上,针对初始的长跳跃连接存在的不足,提出了改进的SCLV-Net模型,该方法将低层的细节特征和高层的语义特征充分拼接融合。在LUNA16公开数据集上的实验结果表明,SCLV-Net模型的Dice相似系数、精确率、召回率、F1分数分别为0.8551、0.8650、0.8863、0.8755,肺结节的分割精度和性能得到了有效提高。
基于微博数据的个性化好友推荐算法研究及系统实现
这是一篇关于好友推荐,社交网络,微博,网络结构,主题模型的论文, 主要内容为随着微博、微信等社交工具的普及,每个人都成为了社交网络信息的发布者及传播者,这些社交服务也因此积累了大量用户产生的数据信息,其中包括用户的个人档案、社交关系、文本内容等。大量的用户数据不仅成为工业界进行大数据分析,从而认识用户、了解用户的重要信息来源,同时也为学术界的研究工作提供了充分的数据支持。但不容忽视的是社交工具给人们生活带来便利的同时,网络中的信息过载问题也随之日趋严重。面对海量的信息,人们很难从中即时发现自己真正感兴趣的内容,因此,个性化推荐系统便作为一种有效的解决手段在各类社交网站中得到应用。本文针对微博用户数量急剧增长的问题,利用用户发布的博文内容及已存在的关注关系为用户推荐潜在的好友。具体研究内容和结论如下:(1)基于用户博文主题及网络结构信息的好友推荐方法由于人们在书写用户属性信息时的随意性和虚假性,使得在进行用户兴趣建模时用户属性无法得到有效利用。针对该问题,本文提出了一种基于兴趣偏好和网络结构的混合好友推荐方法。首先采用LDA主题模型对用户微博进行建模,从中挖掘用户兴趣,并依据同质性原理对目标用户兴趣进行修正。同时,采用一种新颖的基于网络结构的预测指标度量用户间的亲密程度。实验结果表明,与仅利用网络结构的推荐效果相比,加入用户兴趣后的模型在准确率及AUC指标上有显著提升,同时也可提高部分博文主题不明确用户的兴趣挖掘效果。(2)基于改进Link-LDA的用户兴趣挖掘方法LDA主题模型仅仅利用文本内容挖掘用户兴趣分布而忽略了已存在的好友关注信息。针对该问题,本文放弃了传统的LDA而借鉴一种新颖的Link-LDA模型,并对其进行一定改进使其能够更好地适应社交网络上用户兴趣的挖掘工作。实验结果表明,这种新颖的兴趣挖掘算法可以更加有效地刻画用户对不同主题的偏好程度,并在好友推荐任务中取得更加精准的推荐效果。(3)微博好友推荐系统的设计与实现采用B/S架构,spring-MVC设计框架,设计一款微博好友推荐系统。该系统模拟了真实的社交网络,并根据本文提出的推荐算法为用户推荐新的好友,同时将推荐结果及相关推荐解释展现在好友推荐模块中。
火力发电厂厂级监控系统的设计与实现
这是一篇关于厂级监控系统,实时数据库,数据采集系统,网络结构的论文, 主要内容为厂级监控系统(Supervisor Information System SIS)是随着计算机技术、网络技术和自动控制技术的飞速发展,电厂生产控制系统得到广泛,是发电企业信息化建设的重要组成部分。随着企业的生产管理活动对各类信息的需求量不断扩大,为了解决DCS等现场控制系统和MIS系统之间的信息脱节问题,上世纪九十年代末期SIS系统应运而生。SIS系统是一个面向生产管理层的自动化管理平台,最大程度地利用了DCS和MIS的资源,提高电厂的经济效益和现代化管理水平本。课题来源于华能集团某火电厂SIS系统建设项目,由西安热工院独立完成。本文主要介绍了SIS系统软件的设计和实现,给出了SIS系统的总体设计方案以及软件体系结构。首先讨论了SIS系统所具有的功能需求,并针对它们提出了一个通用的软件系统体系结构,系统介绍了软件系统的组成个模块,并说明了各个模块的功能及模块之间的关系。在SIS系统的实现中主要描述了两个具体功能块的实现过程:实时数据库接口采集系统和SIS系统网络结构设计。对于实时数据库接口采集系统,接口主要分为两个方面:一是与上层应用软件的接口,在控制监控和实时数据之间实现数据存取;二是现场模块之间的接口设计。基于面向对象的设计思想,利用分层模块化设计理念,基于PI实时数据库系统,利用PI-API函数,考虑不同接口的相似性,建立了一套统一的接口模块。网络结构设计考虑分层结构,主要包括过程控制层DCS/PLC系统、过程监视与生产管理层SIS系统和经营管理层MIS系统,各层之间在在安全性要求高的地方采用单向设计或硬件网闸的方式,有效保证了系统安全。最后对给进行了全文总结,并提出了一些改进意见。针对SIS系统,本文具体实施了实时数据库采集系统设计方案,并成功应用到西安热工院TRRI-SIS软件系统。本论文提出的方案在华能集团某火电厂的SIS系统得到了应用和测试,设计的数据接口模块能够实现对数据的实时获取和处理,并且在测试过程中,实时数据和历史数据库都能顺利建立。本文中的网络结构设计和安全设置,满足了某电厂SIS系统顺利运行和安全性要求。
基于网络结构的特征选择方法在胃癌基因表达数据的应用
这是一篇关于特征选择,网络结构,正则化,胃癌基因的论文, 主要内容为变量选择是高维回归模型统计推断的关键。传统的正则化特征选择方法存在一定的不足,没有考虑特征之间的关系。胃癌作为常见的消化系统恶性肿瘤,寻找胃癌的预后基因具有现实意义。本文以胃癌基因表达数据为例,使用基于网络结构的特征选择方法,结合Cox模型,探索影响胃癌患者生存风险的预后基因,验证基于网络结构的特征选择方法的优势。具体工作可以概括为以下几点:第一,胃癌特征基因的选择。首先使用差异表达分析和单因素Cox分析筛选出了399个具有分析价值的预后基因,差异表达分析中结合了Wilcoxon检验和能量距离检验。在构建基因间的蛋白质互作网络(PPI)后,采用基于网络结构的特征选择方法,筛选出15个重要的预后基因,其中,UPK1B、SMCP、CAST和CFHR4为危险预后因素,OR2L8、LRIT3、DNAJC28、MTPAP、HAT1、NEK5、TMEM120B、POLB、NUDT2、OR4F5和CDK20为良好预后因素。第二,根据关键基因的Cox回归系数构建胃癌风险预后模型。Net-Cox模型将胃癌患者分为高低两类风险组,KM生存曲线和Log-Rank检验证明了模型划分高低风险患者的有效性。在训练集样本中,该模型对胃癌患者1年、2年和3年的生存风险AUC值分别为0.856、0.915和0.914,在测试集样本中,该模型对胃癌患者1年、2年和3年的生存风险AUC值分别为0.614、0.628和0.544。这些都说明基于网络结构的特征选择方法筛选出的15个基因具有较好的预后价值。第三,本文对比了基于网络结构的特征选择方法和无网络的正则化特征选择方法在变量选择上的效果。本文采用了Lasso、弹性网、自适应Lasso、MCP和SCAD这五种经典的无网络正则化特征选择方法,结合Cox回归模型。通过对比模型效果说明,基于PPI网络的特征选择方法筛选的变量个数适中,所构建的预后模型,在训练集和测试集中的预测效果都优于无网络的特征选择方法。这进一步验证了考虑变量间关系的特征选择方法在高维胃癌基因数据的应用中具有优势。本文研究的价值在于,一方面,本文将统计的特征选择方法应用于胃癌基因表达数据,充分利用高维基因数据的价值,高效筛选胃癌的预后基因,所构建的风险评估模型为胃癌患者的临床分析提供了一定的参考。另一方面,对于胃癌基因数据应用统计方法的研究,横跨了多个学科,将基因之间生物学网络转化成统计关系,构建新的胃癌生存风险预后模型,验证了新方法在高维胃癌基因数据应用中的优势,丰富了相关文献。
D工业园一卡通系统设计与实现
这是一篇关于一卡通,安全策略,网络结构,数据库设计,卡务模块实现的论文, 主要内容为D工业园一卡通系统是一个以数据库为核心,IC卡作为媒介的先进的数字化信息系统。系统包括网络通讯架构的组织,控制设备的选型和管理软件的开发,是集计算机网络技术、网络技术和IC卡射频技术于一体的综合集成系统。处于局域网中的本系统,数据通过B/S和C/S结合的网络结构模式进行通讯,整个系统建有中央数据库和本地数据库,业务数据流唯有在发卡及注销时在中央数据库和本地数据库之间双向流动,其他条件下仅仅在本地库与本地库之间流动。控制数据流只在本地库和设备之间发生关系。系统选择使用Delphi\Visual c++作为开发工具,能方便简洁操作数据库中的对象,满足相关数据的读取。本论文从国内外对智能卡的研究发展出发,以及市场上对一卡通的极大推广,结合D工业园系统设计前后勤保障服务状况,决定以此为契机,建设企业智能化、信息化的一卡通系统。系统设计通过对园区特征用户的需求、系统建设要求的梳理分析,从总体上构建一卡通系统的网络拓扑结构,根据需要将系统划分为卡务中心、门禁通行、考勤打卡、食堂消费、在线巡检、停车场管理六个模块。选择TCP/IP协议通讯,采用基于B/S三层架构的网络模式,做好服务器数据库、工作站应用程序设计要求,从总体上规划出系统设计模型。之后,详细描述各模块软件即将实现的各类功能,卡务中心注册身份后,自动在其余模块的数据库中生成相关许可,从而实现相应的门禁、考勤、消费等方面的功能操作,达到系统数据共享,为用户提供了便利。最后,基于软件功能的设计,合理设置硬件设备的布局,在理论的指导下实现系统的搭建,从实际上完成一卡通六个模块内容的建设。
火力发电厂厂级监控系统的设计与实现
这是一篇关于厂级监控系统,实时数据库,数据采集系统,网络结构的论文, 主要内容为厂级监控系统(Supervisor Information System SIS)是随着计算机技术、网络技术和自动控制技术的飞速发展,电厂生产控制系统得到广泛,是发电企业信息化建设的重要组成部分。随着企业的生产管理活动对各类信息的需求量不断扩大,为了解决DCS等现场控制系统和MIS系统之间的信息脱节问题,上世纪九十年代末期SIS系统应运而生。SIS系统是一个面向生产管理层的自动化管理平台,最大程度地利用了DCS和MIS的资源,提高电厂的经济效益和现代化管理水平本。课题来源于华能集团某火电厂SIS系统建设项目,由西安热工院独立完成。本文主要介绍了SIS系统软件的设计和实现,给出了SIS系统的总体设计方案以及软件体系结构。首先讨论了SIS系统所具有的功能需求,并针对它们提出了一个通用的软件系统体系结构,系统介绍了软件系统的组成个模块,并说明了各个模块的功能及模块之间的关系。在SIS系统的实现中主要描述了两个具体功能块的实现过程:实时数据库接口采集系统和SIS系统网络结构设计。对于实时数据库接口采集系统,接口主要分为两个方面:一是与上层应用软件的接口,在控制监控和实时数据之间实现数据存取;二是现场模块之间的接口设计。基于面向对象的设计思想,利用分层模块化设计理念,基于PI实时数据库系统,利用PI-API函数,考虑不同接口的相似性,建立了一套统一的接口模块。网络结构设计考虑分层结构,主要包括过程控制层DCS/PLC系统、过程监视与生产管理层SIS系统和经营管理层MIS系统,各层之间在在安全性要求高的地方采用单向设计或硬件网闸的方式,有效保证了系统安全。最后对给进行了全文总结,并提出了一些改进意见。针对SIS系统,本文具体实施了实时数据库采集系统设计方案,并成功应用到西安热工院TRRI-SIS软件系统。本论文提出的方案在华能集团某火电厂的SIS系统得到了应用和测试,设计的数据接口模块能够实现对数据的实时获取和处理,并且在测试过程中,实时数据和历史数据库都能顺利建立。本文中的网络结构设计和安全设置,满足了某电厂SIS系统顺利运行和安全性要求。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码项目助手 ,原文地址:https://bishedaima.com/lunwen/53536.html