7个研究背景和意义示例,教你写计算机场景图生成论文

今天分享的是关于场景图生成的7篇计算机毕业论文范文, 如果你的论文涉及到场景图生成等主题,本文能够帮助到你

基于知识图谱与深度学习的无人平台室内环境智能理解

这是一篇关于知识图谱,场景图生成,图神经网络,语义地图,拓扑地图,室内场景理解的论文, 主要内容为为提高无人平台在城市作战行动,尤其是室内作战行动中的自主性,需要增进对环境的智能理解能力。无人平台对环境的理解建立在对环境领域知识的形式化表达基础上,传统的环境知识表示方式侧重于对环境中空间信息或者环境要素的简单语义信息等单一信息的形式化表示,缺乏对环境要素之间的深层次的语义关系、常识知识的表示,这阻碍了无人平台对环境的深入理解。为加强无人平台对环境的智能理解能力,针对环境中物体关系的识别,以及常识知识的应用,本文提出了一套基于知识图谱与深度学习的室内环境语义地图构建方法。应用深度学习技术,无人平台能够从传感器感知信息中识别环境要素之间的语义信息,得到环境的语义层级表示;应用知识图谱技术,无人平台能够组织大量的常识知识,从而具备“联想”能力。本文的主要工作及贡献如下:(1)提出了一种基于图神经网络的场景图生成方法。针对传统语义地图不能建模环境要素之间关系的问题,本文提出一套从RGB-D数据流生成场景图的方法。该方法能够合并多张图像生成的场景图,从而生成图像流采集区域的场景图。场景图的引入提高了语义地图建模复杂环境的能力,克服了传统语义地图中环境要素无关联的缺陷。(2)提出了一种基于场景识别的拓扑地图构建方法。针对传统拓扑图构建时区域分割不准确,且无法自动获取区域类别信息的问题,本文提出了一种基于维诺图完成区域分割并使用神经网络模型Res Net完成场景识别的方法。该方法能够简单有效地完成室内环境区域分割与分类,提高语义拓扑地图构建效率。(3)设计了室内场景知识图谱构建流程,并使用一种基于图神经网络模型完成知识图谱补全任务。针对传统语义地图对常识知识应用能力不足的问题,本文引入知识图谱来组织常识知识。针对知识图谱信息不全的问题,本文提出一种基于图神经网络的方法对其进行补全。知识图谱强大的数据管理能力填补了语义地图常识知识应用不足的缺陷。(4)搭建了基于语义地图的室内环境智能理解实验验证环境。通过搭建半实物仿真环境,实现并验证了所提出的基于知识图谱与深度学习的室内环境智能理解解决方案的各个算法的有效性。

基于外部知识的场景图生成研究

这是一篇关于场景图生成,知识图谱,数据集偏置,图卷积神经网络,残差语义的论文, 主要内容为场景图生成任务是一项新兴的计算机视觉任务,生成图像内容的结构化表示,缩短图像处理和理解间的语义差距,具有广泛的应用前景。针对VG(Visual Genome)数据集失衡问题,论文从知识图谱(ConceptNet)中分别引入类别相关、局部结构和全局结构的外部信息提高生成场景图的质量。主要工作内容如下:(1)针对类别相关语义信息不足的场景图偏置问题,提出了外部信息引导和残差置乱的生成方法。该方法引入与图像目标相对应的类别相关语义信息,通过残差置乱方式将多层残差语义融入视觉特征中,形成无偏特征表示。实验结果证明提出方法有效地改善中低频关系类别的分类性能,缓解数据集长尾分布的问题。(2)针对局部结构信息不足的场景图偏置问题,提出了外部局部结构信息引导的生成方法。该方法基于图卷积神经网络提取外部局部结构信息,通过非跨模态映射方法将外部信息引入视觉模态。实验结果证明提出方法充分利用了外部知识库中的结构信息,弥补类别相关语义信息的不足,缓解了数据长尾对模型性能的影响。(3)针对特征区分度不足的场景图偏置问题,提出结合外部局部和全局结构信息引导的生成方法。该方法在全局结构信息引导模块利用类内损失和类间损失使不同类别间能相互影响,优化特征空间中特征分布。在局部结构信息引导模块以图卷积神经网络实现外部局部结构信息的传播。消融实验和对比实验证明,结合全局和局部结构信息可以进一步缓解数据集偏置对模型的影响,改善场景图的生成质量。总之,论文开展了外部知识库的类别相关语义信息、局部结构信息和全局与局部结构信息结合在场景图生成任务中的研究。研究表明,引入不同层级的外部信息,可以缓解数据集长尾问题,提高生成场景图的准确性。

基于知识场景图和主题关联图的图像描述生成方法研究

这是一篇关于图像描述生成,知识图谱,场景图生成,主题词,自适应注意力机制的论文, 主要内容为图像描述生成任务是计算机视觉领域的一个重要任务。场景图通常用于描述图像中物体的属性和关系。基于场景图的图像描述生成方法可以把场景图包含的语义信息利用到图像与自然语言的转换过程中。然而,传统的场景图生成方法没利用好先验知识,忽略目标在现实生活中本身可能存在的相关联系,导致基于场景图的图像描述生成模型出现对目标间复杂关系表达不精确的问题。此外,当前图像描述方法在生成过程中没有充分利用图像所携带的主题信息,并认为模型生成的词在不同主题下的分布是一致的,这导致生成的图像描述难以突出图像主题。本文针对以上问题展开下列研究工作:(1)针对现有模型对目标间复杂关系表达不准确的问题,本文提出了一种基于知识场景图的图像描述生成方法。首先,利用开放域知识抽取工具(Open IE)构建出能提供对象间语义联系的知识图谱;其次,将知识图谱嵌入到场景图生成过程中,从而让模型学习到目标间更复杂的关系表达,同时,利用排序策略的筛选算法优化嵌入过程;再次,提出新的自适应注意力机制,通过调整特征融合比例的方式,减少非视觉词对模型生成过程的影响;最后,采用编码器-解码器网络模型,对知识图谱和场景图进行编码,再通过解码器生成图像描述。在多个数据集上的实验均证明了该方法能更准确地描述图像,特别是在处理目标间复杂关系方面表现出色。(2)针对现有模型生成的描述难以突出图像主题的问题,本文提出了一种基于主题关联图的图像描述生成方法。首先,采用LDA主题模型从数据集描述中学习得到图像主题词信息;其次,以主题词为节点,Wasserstein距离计算得到的主题词间的相似度为边权重,构建出能清晰展示信息的主题关联图,为场景图生成提供指导作用;再次,在场景图生成过程中融合主题关联图特征,得到突出图像主题的场景图;最后,利用网络模型对场景图进行编解码操作,生成带有图像主题信息的描述。在多个数据集上的实验均证明了该方法对生成包含图像主题信息描述的有效性。(3)利用本文所提出的图像描述生成方法,在综合快速开发,快速响应以及简单操作等各个方面的原则下,设计了一个图像描述生成系统,该系统开发了图片上传和图像描述生成结果展示这两个功能。

基于外部知识的场景图生成研究

基于室内场景图知识融入的视觉语言导航

这是一篇关于视觉导航,场景图生成,知识图谱的论文, 主要内容为视觉语言导航涉及到对视觉图像和自然语言的综合理解,以及路径优化,具有较大挑战性。作为智能机器人走进人类生活的重要一步,视觉语言导航是近年来人工智能领域比较热门的研究课题。通过实现学习自主导航,机器人可以摆脱对环境地图的依赖性,更迅速的部署到各种任务中并方便任务拓展。传统的算法采用建模后设计导航控制器的方法,处理难度大。随着深度强化学习的发展,大多数的研究工作开始使用模仿学习或强化学习方式来解决的视觉导航问题。视觉语言导航本质上是一个目标搜索定位的问题,机器人对探寻环境的认知是提升算法搜寻效率的重要因素。为了能够自动构建适应于目标环境的先验知识,本文采用场景图生成结合图卷积网络学习的知识图谱构建方式,将知识信息融入到深度强化学习框架中。为了进一步提高模型在测试阶段能适应强化学习中的策略和先验知识,本文加入模型无关的元学习过程,在导航的强化学习框架中引入可训练的自监督交互损失,提高模型的泛化推广能力。因此我们可以在不同场景中获得相对应的先验知识以辅助我们的视觉导航任务。本文在主流AI2-THOR仿真环境中进行实验,相比标准的强化学习方法及仅加入手动构建的知识图谱方法,本文模型具有优越的导航效率,以及良好的知识自动化抽取与构建能力,验证了自适应的先验知识的有效性。同时为了验证模型在不同场景中的性能,我们将模型在另一个也同样广泛使用的Matterport3D中进行测试。最终证明我们的模型在不同的场景环境下,也可以有效的提高导航效率。