面向汽车领域的长评论生成系统研究与实现

这是一篇关于长评论生成,编码器-解码器,条件变分自编码,知识图谱的论文, 主要内容为随着互联网技术的普及和发展,互联网已融入生产生活各个方面,在汽车领域,潜在消费者往往会通过互联网了解汽车相关信息。行文流畅、生动形象且富含汽车描述信息的长评论可以提升消费者对汽车的购买欲望,然而手工编写评论所耗费的人力巨大,自动生成汽车评论成为了一项具有发展前景和现实意义的任务。根据以上工业背景,本文研究了基于条件变分自编码的编解码长评论生成模型,改进了长文本生成中语义不连贯、多样性表达匮乏的问题;设计了子句内容规划模块,用高层次的语义信息指导子句的生成内容和子句间的逻辑结构,使得生成的文本语义连贯、逻辑顺畅;划分了潜变量层次,并结合层次化的解码结构,在生成阶段的不同级别注入多样性,同时将多样化束搜索思想引入词语解码器,使得解码器在保障生成文本之间差异性的同时一次生成多条评论。通过与基线模型在汽车数据集上进行对比实验,验证了本文提出的评论生成模型在语句流畅性、多样性方面具有更好的生成效果。由于汽车垂直领域缺少公开数据集,本文使用CRF加Bootstrap的方法进行知识抽取,构建了富含属性、参数等描述信息的汽车领域知识图谱,在评论生成模型的数据准备阶段提供数据支持。基于构建的评论生成模型和知识图谱,本文使用web应用开发技术,设计并实现了面向汽车工业领域的长评论生成系统。包括评论生成、评论发表、图谱扩充、策略推荐等功能。本系统既可以作为运营人员的评论撰写助手,节省人力成本,也可以通过生成的评论引起潜在消费者的购车兴趣。本文最后对长评论生成系统进行了多方面测试,验证了系统的有效性。

基于上下文信息的卫星遥感影像建筑物分割方法研究

这是一篇关于语义分割,编码器-解码器,门控融合,空间上下文,类特征,建筑物分割的论文, 主要内容为随着遥感对地观测技术的快速发展,高分辨率卫星遥感图像数据的数量呈现指数级的爆发式增长,这种趋势随着时间的推移而变得更加明显。建筑物是人类生活的重要组成部分,基于高分辨率卫星遥感图像的建筑物分割评测城市发展、智慧城市建设、土地测量、地图制图等领域具有重要的应用价值。传统的高分辨率遥感图像建筑物分割存在泛化性差且难以处理复杂场景等问题。基于深度学习的高分遥感影像分割虽然可以泛化性高,但是仍存在多尺度目标丢失、边缘不清晰的情况。据此,本文从上下文语义信息出发,提出基于空间上下文和对象上下文的深度学习语义分割网络进行特征解析,主要工作内容如下:(1)针对深度学习网络感受野过少和多尺度信息不足的问题,本文提出一种基于空间上下文信息的单边双分支网络。首先,引入Res2Netplus卷积单元优化Xception主干网络,提高网络的感受野,使得网络对多尺度信息识别更加准确;然后,在特征处理中间层嵌入CBAM和特征融合模块,抑制非重要特征,增强多尺度信息。最后,通过融合编码语义信息的双分支解码器开展特征上采样,实现底层语义和解码信息交叉互补。上述方法能够捕捉多尺度信息,减少漏检建筑物情况的发生。(2)针对建筑物分割边缘不清晰的问题,在前一项工作基础上提出一种基于对象上下文的类特征增强网络。首先,设计Res Net50为主干网络的编码解码结构捕捉像素间上下文语义信息,在跳跃层中提出双注意力机制,实现基于编码特边缘语义信息的门控筛选;然后,在中间层嵌入特征变换方法,使得模型能够提取更多非线性特征;最后,设计基于类特征分支解码器,有效提升建筑物类别特征的提取,实现了建筑物边缘的精确分割。

基于时序数据的传感器预测与补偿技术的研究及应用

这是一篇关于时间序列,预测分析,误差补偿,编码器-解码器,季节性分解的论文, 主要内容为工业物联网的关键之一在于数据基础设施的建设,而作为物联网架构中感知层载体的传感器设备,则是数据采集的神经末梢。时序数据作为一种重要的科学服务资源在传感器采集的数据类型中普通存在,具有数据量大,数据维度高,依赖关系复杂等特点。传感器预测与误差补偿技术作为时间序列分析中的重点研究领域,旨在挖掘数据序列内在的时空规则,分析不同来源、异构属性间的依赖规律,进而构建数据模型,对目标数据进行预测或修正。其中,有效地处理多域融合数据序列的上下文信息、探索时间序列随历史推移的变化规律以及捕获数据未来变化状态信息是此类研究的关键问题。基于此,本论文的研究内容主要从以下3个方面展开。提出了一种基于编码器-解码器(Encoder-Decoder)架构的时间序列数据预测框架。在数据层面,将时间序列分解为多个可预测的基本模式类别,突出时间序列的固有属性,加强对历史推移规律特征的学习能力。在模型层面,对传统的编码器-解码器结构进行了改进,提出一个基于长短时记忆神经网络(LSTM)的编解码器模型(ED-LSTM),在编码器使用长短时记忆神经(LSTM)提取数据特征重要信息,在解码器使用双向LSTM(Bi-LSTM)捕获数据历史依赖与未来变化两个方向的状态信息。最后,基于以上方法的基础上,对目标对象关联的跨域异构特征进行组合,形成了一套时间序列数据预测框架。实验表明,提出的框架相比经典方法实现了更好的预测效果。提出了一种基于注意力机制的数据误差补偿方法。首先,在基于标准Transform架构的基础上,引入稀疏注意力机制代替自注意力机制,该机制通过top-k显式选择方法,保留高度相关的信息,删除无关信息,解决了自注意力机制注意力不集中导致重要信息提取失败的问题。其次,在Transform模型的内部添加了一个序列分解块结构,从而实现在推理过程中逐步从网络的隐藏状态信息中提取季节性趋势,以此消除周期性波动,突出序列的长期趋势。最后,通过实验对比分析表明,提出的模型可以胜任数据误差修正任务。为了验证时间序列误差与补偿方法的可行性,同时简化数据建模操作,基于微服务架构,对涉及的业务逻辑进行拆分设计,实现了一套时间序列数据预测与误差补偿分析的平台。在数据管理上,平台统一开发数据中心来接入、分析和存储多源异构数据。在模型服务上,构建基于数据预测与补偿的机器学习服务,并将建模过程抽象为算子组件,提供可视化建模。最后,基于上传的测点数据进行了数据预测与补偿技术的实践,验证了本文解决方案的有效性。

基于上下文信息的卫星遥感影像建筑物分割方法研究

这是一篇关于语义分割,编码器-解码器,门控融合,空间上下文,类特征,建筑物分割的论文, 主要内容为随着遥感对地观测技术的快速发展,高分辨率卫星遥感图像数据的数量呈现指数级的爆发式增长,这种趋势随着时间的推移而变得更加明显。建筑物是人类生活的重要组成部分,基于高分辨率卫星遥感图像的建筑物分割评测城市发展、智慧城市建设、土地测量、地图制图等领域具有重要的应用价值。传统的高分辨率遥感图像建筑物分割存在泛化性差且难以处理复杂场景等问题。基于深度学习的高分遥感影像分割虽然可以泛化性高,但是仍存在多尺度目标丢失、边缘不清晰的情况。据此,本文从上下文语义信息出发,提出基于空间上下文和对象上下文的深度学习语义分割网络进行特征解析,主要工作内容如下:(1)针对深度学习网络感受野过少和多尺度信息不足的问题,本文提出一种基于空间上下文信息的单边双分支网络。首先,引入Res2Netplus卷积单元优化Xception主干网络,提高网络的感受野,使得网络对多尺度信息识别更加准确;然后,在特征处理中间层嵌入CBAM和特征融合模块,抑制非重要特征,增强多尺度信息。最后,通过融合编码语义信息的双分支解码器开展特征上采样,实现底层语义和解码信息交叉互补。上述方法能够捕捉多尺度信息,减少漏检建筑物情况的发生。(2)针对建筑物分割边缘不清晰的问题,在前一项工作基础上提出一种基于对象上下文的类特征增强网络。首先,设计Res Net50为主干网络的编码解码结构捕捉像素间上下文语义信息,在跳跃层中提出双注意力机制,实现基于编码特边缘语义信息的门控筛选;然后,在中间层嵌入特征变换方法,使得模型能够提取更多非线性特征;最后,设计基于类特征分支解码器,有效提升建筑物类别特征的提取,实现了建筑物边缘的精确分割。

基于U-Net变体网络的混凝土裂缝检测研究

这是一篇关于裂缝检测,编码器-解码器,空洞卷积,注意力机制,结构重参数化的论文, 主要内容为随着我国公共基础设施的快速发展,混凝土作为建筑物的基本原材料被广泛使用,裂缝作为混凝土设施最为常见的结构性病害成为建筑工程质量中健康检测的重要一环。传统的检测方法,如人工检测,存在检测效率低、检测结果不准等问题;基于数字图像处理技术的检测算法,存在需要人工设计特征、模型稳定性差、易受环境干扰等局限。基于此,本文着力于研究基于计算机视觉的智能裂缝检测算法。本文选用具有编码器-解码器以及跳跃连接结构的U-Net作为主体网络,进行针对性研究。主要研究内容如下:(1)针对现有裂缝检测方法在裂缝拓扑结构复杂,前后景像素不协调情况下产生的检测精度低的问题,提出一种基于空洞卷积与动态核融合池化的裂缝检测方法。模型以U-Net网络为基础,编码器阶段插入空洞卷积,能够更大限度的保留裂缝细节与结构信息;解码器阶段引入动态核融合池化模块,用以在并行卷积流中更高效的获得不同尺寸的裂缝语义信息并融合,能够提升细小裂缝的检测效果。实验结果表明,模型有效提升了裂缝检测的精度,减少了漏检、误检现象。(2)本文在(1)的基础上,针对模型结构复杂、参数量大的问题,提出了一种基于结构重参数化与注意力机制的检测模型。首先,模型采用结构重参数化的思想,将编码器端的多分支结构转换成单分支结构用以提取特征,既能保留更高精度的检测结果又能简化网络结构;同时为了更有效的识别裂缝,加入了注意力机制,用以加大提取裂缝特征的前景权重;最后将解码器端的反卷积替换成更轻量、有效的亚像素卷积。实验结果表明,构建的网络模型相较主流的U-Net变体网络模型,参数量、计算量更低且检测精度高、效果好。本文主要基于U-Net网络进行裂缝检测研究。提出的两种检测模型利用优化特征提取以及特征还原等方法,有效改善常规裂缝检测方法中存在的检测精度低、网络模型复杂度高等问题。

基于U-Net变体网络的混凝土裂缝检测研究

这是一篇关于裂缝检测,编码器-解码器,空洞卷积,注意力机制,结构重参数化的论文, 主要内容为随着我国公共基础设施的快速发展,混凝土作为建筑物的基本原材料被广泛使用,裂缝作为混凝土设施最为常见的结构性病害成为建筑工程质量中健康检测的重要一环。传统的检测方法,如人工检测,存在检测效率低、检测结果不准等问题;基于数字图像处理技术的检测算法,存在需要人工设计特征、模型稳定性差、易受环境干扰等局限。基于此,本文着力于研究基于计算机视觉的智能裂缝检测算法。本文选用具有编码器-解码器以及跳跃连接结构的U-Net作为主体网络,进行针对性研究。主要研究内容如下:(1)针对现有裂缝检测方法在裂缝拓扑结构复杂,前后景像素不协调情况下产生的检测精度低的问题,提出一种基于空洞卷积与动态核融合池化的裂缝检测方法。模型以U-Net网络为基础,编码器阶段插入空洞卷积,能够更大限度的保留裂缝细节与结构信息;解码器阶段引入动态核融合池化模块,用以在并行卷积流中更高效的获得不同尺寸的裂缝语义信息并融合,能够提升细小裂缝的检测效果。实验结果表明,模型有效提升了裂缝检测的精度,减少了漏检、误检现象。(2)本文在(1)的基础上,针对模型结构复杂、参数量大的问题,提出了一种基于结构重参数化与注意力机制的检测模型。首先,模型采用结构重参数化的思想,将编码器端的多分支结构转换成单分支结构用以提取特征,既能保留更高精度的检测结果又能简化网络结构;同时为了更有效的识别裂缝,加入了注意力机制,用以加大提取裂缝特征的前景权重;最后将解码器端的反卷积替换成更轻量、有效的亚像素卷积。实验结果表明,构建的网络模型相较主流的U-Net变体网络模型,参数量、计算量更低且检测精度高、效果好。本文主要基于U-Net网络进行裂缝检测研究。提出的两种检测模型利用优化特征提取以及特征还原等方法,有效改善常规裂缝检测方法中存在的检测精度低、网络模型复杂度高等问题。

基于特征增强的医学影像报告自动生成的研究与应用

这是一篇关于医学影像报告生成,编码器-解码器,图像文本生成,深度学习的论文, 主要内容为在临床诊断中,放射科医生撰写影像报告,以供其他医生选择最佳诊疗方法。然而医生工作量大,易导致漏诊和误诊,延误病人的治疗。基于深度学习的影像报告生成方法可显著减轻医生负担,提高临床效率。医学影像报告包含专业术语和长段落内容,且由于医学影像结构相似,异常区域的视觉特征不易捕捉。现有方法致力于为病变区域生成文本描述,但实验表明未充分利用医学影像间的视觉特征差异和医学报告的语义特征。基于此,本文开展了基于特征增强的医学影像报告自动生成模型研究,设计并开发了医学影像报告生成系统。其主要工作与贡献概括如下:(1)为了捕获输入图像的异常区域特征并为其生成准确的文本描述,提出基于多级特征差异的医学影像报告自动生成方法。在求取输入图像和正常图像间特征差异时,不仅关注高级视觉特征的差异,还考虑低级视觉特征的差异,使模型更加聚焦异常区域的视觉特征。在生成单词的过程中为了防止模型平等对待视觉词和非视觉词的生成,提出自适应注意力模块以提升生成报告的精度。在IU-Xray和MIMIC-CXR-JPG数据集上的实验结果表明提出方法的有效性。(2)为了避免上述生成报告方法仅从单词层面学习而忽略高级语义信息,提出基于多模态数据特征的医学影像报告自动生成方法。在报告生成分支的基础上设计图像文本匹配分支,通过相互耦合两个分支,将视觉特征和文本特征相结合,以提高报告生成的准确性。为了缓解数据集中存在的数据偏差使模型倾向于生成合理但缺乏异常描述的一般性报告,提出渐进式学习框架,使模型从简单样本开始学起,逐步迭代地学习困难样本。在IU-Xray和MIMIC-CXR-JPG数据集上提出方法比上述方法在所有评价指标上均获得了提升,且优于目前的主流方法,证明了提出方法的有效性。(3)在改进模型的基础上开发了一个医学影像报告自动生成系统。基于VUE框架进行前端页面的开发,使用Spring Boot进行后端业务逻辑的实现,通过URL地址来访问部署在服务器上的深度学习模型。系统对一些常用的功能以及管理模块进行了实现,该系统能够帮助医生自动撰写医学影像报告,缓解医生的工作负担。此外,还能方便医生对病人进行健康管理。

基于特征增强的医学影像报告自动生成的研究与应用

这是一篇关于医学影像报告生成,编码器-解码器,图像文本生成,深度学习的论文, 主要内容为在临床诊断中,放射科医生撰写影像报告,以供其他医生选择最佳诊疗方法。然而医生工作量大,易导致漏诊和误诊,延误病人的治疗。基于深度学习的影像报告生成方法可显著减轻医生负担,提高临床效率。医学影像报告包含专业术语和长段落内容,且由于医学影像结构相似,异常区域的视觉特征不易捕捉。现有方法致力于为病变区域生成文本描述,但实验表明未充分利用医学影像间的视觉特征差异和医学报告的语义特征。基于此,本文开展了基于特征增强的医学影像报告自动生成模型研究,设计并开发了医学影像报告生成系统。其主要工作与贡献概括如下:(1)为了捕获输入图像的异常区域特征并为其生成准确的文本描述,提出基于多级特征差异的医学影像报告自动生成方法。在求取输入图像和正常图像间特征差异时,不仅关注高级视觉特征的差异,还考虑低级视觉特征的差异,使模型更加聚焦异常区域的视觉特征。在生成单词的过程中为了防止模型平等对待视觉词和非视觉词的生成,提出自适应注意力模块以提升生成报告的精度。在IU-Xray和MIMIC-CXR-JPG数据集上的实验结果表明提出方法的有效性。(2)为了避免上述生成报告方法仅从单词层面学习而忽略高级语义信息,提出基于多模态数据特征的医学影像报告自动生成方法。在报告生成分支的基础上设计图像文本匹配分支,通过相互耦合两个分支,将视觉特征和文本特征相结合,以提高报告生成的准确性。为了缓解数据集中存在的数据偏差使模型倾向于生成合理但缺乏异常描述的一般性报告,提出渐进式学习框架,使模型从简单样本开始学起,逐步迭代地学习困难样本。在IU-Xray和MIMIC-CXR-JPG数据集上提出方法比上述方法在所有评价指标上均获得了提升,且优于目前的主流方法,证明了提出方法的有效性。(3)在改进模型的基础上开发了一个医学影像报告自动生成系统。基于VUE框架进行前端页面的开发,使用Spring Boot进行后端业务逻辑的实现,通过URL地址来访问部署在服务器上的深度学习模型。系统对一些常用的功能以及管理模块进行了实现,该系统能够帮助医生自动撰写医学影像报告,缓解医生的工作负担。此外,还能方便医生对病人进行健康管理。

基于深度学习的室内空间布局估计模型研究与系统实现

这是一篇关于布局估计,语义分割,多任务监督学习,编码器-解码器,端到端的论文, 主要内容为随着智能家居和虚拟现实等技术的发展,人们对数字化建模和可视化室内空间的需求不断提高,如何快速而准确地估计室内空间布局已经成为备受关注的问题。室内空间布局估计为大多数增强现实、机器人导航和场景理解等任务提供先验基础,具有广泛的应用场景和重要的研究意义。该任务存在室内空间被众多杂物遮挡、环境条件复杂以及场景拓扑结构不同等挑战性问题,现有的基于传统几何学或单任务监督学习的方法对于提取语义特征仍然存在一定的不足。对此,本文研究内容具体如下:(1)为了更加有效地感知室内场景的布局关系,进一步提升室内场景空间图像分割的准确率,提出了一种基于多任务监督学习的室内空间布局估计模型。针对室内布局图像的分割特点,设计了一种改进的编码器-解码器网络结构,使用轻量级的Mobile Net V2网络作为主干网络,大大减小模型的训练难度,并在ASPP中引入深度可分离卷积,有效捕捉到多尺度信息,进一步减少模型的参数。引入多任务监督学习来推理出室内空间布局和各个局部区域的语义边缘结果,多个任务共享一些通用的特征表示,从而提高模型的泛化能力和效率。利用局部区域语义边缘的输出对语义分割图的结果做特征融合后处理,优化区域与区域之间的边缘位置。在网络训练过程中,设计一种联合损失函数,平滑损失和边缘损失被用来协助网络模型的训练,从而提高语义分割结果的几何合理性。(2)应用LSUN和Hedau数据集进行室内场景图像语义分割模型的研究与实验,采用Io U、m Io U、PA、MPA和PE等语义分割领域常用的评价指标对各个模型的实验分割结果进行评估。1)使用多个语义分割领域中常用的方法和主干网络构建了五种网络模型,并在LSUN和Hedau数据集上与本文模型进行对比实验。与FCN、PSPNet网络模型相比,Deep Lab V3+模型在室内空间布局估计任务中整体上表现更好,并且本文所提模型在LSUN和Hedau数据集上的全局指标m Io U、MPA、PE的值为78.06%、87.51%、7.54%和78.77%、87.54%、7.08%,整体上要优于其他方法。具体到每一个区域面,采用Io U、PA类别指标得到的结果说明,本文模型对各个区域面的分割效果更好,对中墙的分割能力提升的尤为明显。2)将本文所提模型与其他室内空间布局估计相关研究工作在PE指标上进行了定量比较,对比中包含了非端到端的传统方法和端到端的深度学习方法。与近几年的室内布局估计研究方法相比,本文模型在LSUN和Hedau数据集上的PE指标都要低于其他方法,布局估计的精度具有一定的优势。3)选用参数量和推理时间作为评价指标,进一步比较各个网络模型的大小和室内布局估计的快慢,并分析了多种网络模型在训练过程中m Io U、MPA和PE的波动情况。对比分析可知,本文模型在保证分割精度的同时,具有不错的分割效率。在网络模型训练过程中,相较其他模型的收敛速度更快,m Io U、MPA和PE的表现处于领先地位。4)为验证对编码器结构进行改进的必要性,以及引入多任务监督学习模块和特征融合模块的有效性,在LSUN数据集上设置了五组不同的方案以进行消融实验。实验结果表明,改进的编码器-解码器模块、多任务监督学习模块、特征融合后处理模块对室内场景图像的分割有一定的提升效果。这主要是因为本文模型中的多任务监督学习和联合损失函数对语义信息的感知能力更强,能够增强模型对室内空间布局的分割能力,提高分割结果的几何合理性。5)利用本文模型对LSUN和Hedau数据集进行可视化,并对其进行定性分析。从可视化结果可以看出,本文模型具备较好的鲁棒性和泛化能力,即使在环境条件复杂、众多杂物遮挡和多种拓扑结构的情况下,模型依然表现不错的效果,能正确地识别出室内场景布局分割图。(3)设计开发了一个室内空间布局估计系统,将深度学习中的语义分割算法与软件开发相结合,以此方便非技术用户观察模型对室内布局估计的分割效果。从需求和系统结构与功能两个方面对系统进行分析,给出系统的架构和所需技术框架,选用Py Qt框架搭建系统的UI界面,并结合My Sql、Python和Py Torch等技术开发实现系统功能。然后对系统的用户和布局估计两大功能模块进行设计与实现,并对各个UI界面和用户登录、注册、分割等功能操作进行了详细的介绍。最后在功能和性能两个方面对布局估计系统进行测试,进一步评估系统的可行性。测试结果表明,该系统可靠性较好、界面美观、运行稳定,在保证效率的同时,能有效地推理出室内布局结果,对室内空间布局估计具有一定的应用价值。