三维网格模型渐进式传输方案的设计与研究
这是一篇关于三维场景,三维模型,渐进式传输,纹理压缩,网格显著性的论文, 主要内容为随着计算机科学技术的不断发展,虚拟现实(Virtual Reality,VR)技术以及增强现实(Augmented Reality,AR)技术的三维虚拟场景(3D Virtual Environments)已经广泛用于电商行业的AR试穿、虚拟看房、在线家装、网络游戏等各行各业。相比于传统的2D媒体,基于3D模型的三维场景可以让用户在完成更丰富交互操作的同时,获得更好地沉浸式的体验。高质量的三维场景往往也意味着巨大数据量的三维模型和纹理图片。因此,如何快速传输高质量的三维场景是一个巨大挑战。本文所提出的方案主要贡献包括:(1)对基于视觉分辨率和视点显著性的模型失真评估算法进行创新。改进基于模型到视点距离和相对视线中心偏转角度这两个维度的失真评估算法,增加基于距离和尺度的视觉分辨率作为评价标准,让模型失真评估算法更加精确。同时加入了视点显著性信息,使得评估方法更加符合人类的视觉特征。改进后的算法,减少了对用户视觉质量贡献较低的模型传输,提升了对传输带宽的利用率,将更多的带宽分配给那些能够提升视觉画面质量的模型,同时,更加看重当前视角下显著性高的模型,从而进一步提升画面视觉质量。(2)提出了基于网格模型和纹理图片的联合优化方案。研究当前用于纹理图片的压缩编码标准,并分析仅依据网格模型的简化率,将纹理图片均匀地降采样到与网格模型匹配的纹理简化方案的不足。在上述方案的基础上,设计了网格模型和纹理图片的联合优化方案,在纹理图片简化时充分考虑纹理图片中不同块的细节特征,并对不同细节特征的块采用不同的降采样系数,在渐进式传输系统中实现最优的匹配结果。(3)从渲染管线出发对用户相关场景中三维模型的兴趣区域管理方法进行改进,增加了兴趣区域管理机制中视距参数来源,认为其半径应与渲染管线中相机内参中的远剪裁平面相关,提出了自适应的兴趣区域。使得系统的兴趣区域划分更加满足真实的用户体验场景。兴趣区域内的模型通过模型失真评估算法进行视觉重要程度排序,通过纹理图片和网格模型的联合优化算法确定纹理图片的采样率,依据兴趣区域的大小完成场景内容更新,完成了三维网格模型渐进式传输方案的设计。最后对所提出的渐进式传输方案进行了系统设计和仿真实验,并与传统方案进行对比。结果表明在带宽资源有限的网络条件下,相同时间内本文提出的方案可为用户提供视觉质量更高的三维场景。
三维网格模型渐进式传输方案的设计与研究
这是一篇关于三维场景,三维模型,渐进式传输,纹理压缩,网格显著性的论文, 主要内容为随着计算机科学技术的不断发展,虚拟现实(Virtual Reality,VR)技术以及增强现实(Augmented Reality,AR)技术的三维虚拟场景(3D Virtual Environments)已经广泛用于电商行业的AR试穿、虚拟看房、在线家装、网络游戏等各行各业。相比于传统的2D媒体,基于3D模型的三维场景可以让用户在完成更丰富交互操作的同时,获得更好地沉浸式的体验。高质量的三维场景往往也意味着巨大数据量的三维模型和纹理图片。因此,如何快速传输高质量的三维场景是一个巨大挑战。本文所提出的方案主要贡献包括:(1)对基于视觉分辨率和视点显著性的模型失真评估算法进行创新。改进基于模型到视点距离和相对视线中心偏转角度这两个维度的失真评估算法,增加基于距离和尺度的视觉分辨率作为评价标准,让模型失真评估算法更加精确。同时加入了视点显著性信息,使得评估方法更加符合人类的视觉特征。改进后的算法,减少了对用户视觉质量贡献较低的模型传输,提升了对传输带宽的利用率,将更多的带宽分配给那些能够提升视觉画面质量的模型,同时,更加看重当前视角下显著性高的模型,从而进一步提升画面视觉质量。(2)提出了基于网格模型和纹理图片的联合优化方案。研究当前用于纹理图片的压缩编码标准,并分析仅依据网格模型的简化率,将纹理图片均匀地降采样到与网格模型匹配的纹理简化方案的不足。在上述方案的基础上,设计了网格模型和纹理图片的联合优化方案,在纹理图片简化时充分考虑纹理图片中不同块的细节特征,并对不同细节特征的块采用不同的降采样系数,在渐进式传输系统中实现最优的匹配结果。(3)从渲染管线出发对用户相关场景中三维模型的兴趣区域管理方法进行改进,增加了兴趣区域管理机制中视距参数来源,认为其半径应与渲染管线中相机内参中的远剪裁平面相关,提出了自适应的兴趣区域。使得系统的兴趣区域划分更加满足真实的用户体验场景。兴趣区域内的模型通过模型失真评估算法进行视觉重要程度排序,通过纹理图片和网格模型的联合优化算法确定纹理图片的采样率,依据兴趣区域的大小完成场景内容更新,完成了三维网格模型渐进式传输方案的设计。最后对所提出的渐进式传输方案进行了系统设计和仿真实验,并与传统方案进行对比。结果表明在带宽资源有限的网络条件下,相同时间内本文提出的方案可为用户提供视觉质量更高的三维场景。
复杂室内场景三维目标文本描述方法研究
这是一篇关于三维场景,多模态,目标检测,描述生成,注意力机制,门控循环单元的论文, 主要内容为随着深度学习技术在计算机视觉和自然语言处理领域的广泛应用,越来越多的学者将目光聚集到二者的交叉领域上来,图像描述、视觉搜索等基于二维数据的相关任务都取得了令人瞩目的发展。近些年来,三维传感技术的进步推动了三维视觉的革命性发展,对点云形式的三维室内场景数据的研究也逐渐成为当前的研究热点。目前,已经有相关工作致力于链接三维视觉和自然语言处理两个领域,相关数据集和优秀工作的提出,为在三维环境下的跨领域、多模态的任务提供了发展的基石。用于视觉信息向文本信息转换的描述任务在无人系统、幼教助残等方向拥有这广阔的应用场景和很大的现实意义。本文致力于对复杂三维室内场景中的视觉信息进行研究,通过特征的提取和模态之间的转化,实现目标物体的定位和对应物体的自然语言形式的文本描述生成。以三维目标的文本描述生成为最终任务,本文首先对三维点云和文本编码等相关领域做知识储备。然后研究并完成了以下两点核心任务:场景下三维目标特征提取和定位任务、三维目标描述文本生成任务。最后基于这两个任务提出了端到端的复杂室内场景三维目标文本描述生成方法。核心任务的具体工作如下:(1)复杂室内场景下的三维目标检测网络。本部分首先对较新且效果较好的三维目标检测网络——Vote Net做出分析,指出其不能充分利用三维场景数据和生成目标时相对孤立的局限性,并以此提出改进的Vote Net网络。在数据使用的过程中,本文将数据中包含的多视角特征通过二维到三维的投影融合到网络中;在候选物体生成的过程中,本文使用图结构将场景内物体之间做出关联,原本孤立的候选框生成步骤中添加了环境的上下文信息。通过实验证明,用交并比大于0.25的平均精确率的平均(m AP)计,本文的三维目标检测网络性能比基于原始点云的方法Vote Net网络高9.07,比基于多视图投影的方法3DSIS 5views高23.27。(2)三维目标描述文本生成网络。本部分以特征提取和目标检测部分输出的包含有目标特征的视觉信息为输入,完成将视觉信息向文本信息转化的过程。由于用于三维物体描述的工作还较少,本章首先提出基于GRU的简单基线模型,然后提出基于融合上下文信息的描述文本生成模型(CGMC-Net)。CGMC-Net综合考虑包括目标和全局特征在内的多维度视觉特征,在描述生成过程中使用有先验知识学习能力的注意力模块,实现了并行的效果较好的三维目标描述生成模块。通过实验验证,以交并比大于0.5的CIDEr指标计,CGMC-Net的描述生成结果比基于GRU的高1.18个百分点。最后本文通过网络策略,将目标检测和描述生成网络相结合,实现了端到端的复杂室内场景三维目标文本描述方法,通过实验验证,CGMC-Net的描述结果以交并比大于0.5的CIDEr指标计达到42.41%,与非端到端的实验结果相比提升7.91个百分点。
三维网格模型渐进式传输方案的设计与研究
这是一篇关于三维场景,三维模型,渐进式传输,纹理压缩,网格显著性的论文, 主要内容为随着计算机科学技术的不断发展,虚拟现实(Virtual Reality,VR)技术以及增强现实(Augmented Reality,AR)技术的三维虚拟场景(3D Virtual Environments)已经广泛用于电商行业的AR试穿、虚拟看房、在线家装、网络游戏等各行各业。相比于传统的2D媒体,基于3D模型的三维场景可以让用户在完成更丰富交互操作的同时,获得更好地沉浸式的体验。高质量的三维场景往往也意味着巨大数据量的三维模型和纹理图片。因此,如何快速传输高质量的三维场景是一个巨大挑战。本文所提出的方案主要贡献包括:(1)对基于视觉分辨率和视点显著性的模型失真评估算法进行创新。改进基于模型到视点距离和相对视线中心偏转角度这两个维度的失真评估算法,增加基于距离和尺度的视觉分辨率作为评价标准,让模型失真评估算法更加精确。同时加入了视点显著性信息,使得评估方法更加符合人类的视觉特征。改进后的算法,减少了对用户视觉质量贡献较低的模型传输,提升了对传输带宽的利用率,将更多的带宽分配给那些能够提升视觉画面质量的模型,同时,更加看重当前视角下显著性高的模型,从而进一步提升画面视觉质量。(2)提出了基于网格模型和纹理图片的联合优化方案。研究当前用于纹理图片的压缩编码标准,并分析仅依据网格模型的简化率,将纹理图片均匀地降采样到与网格模型匹配的纹理简化方案的不足。在上述方案的基础上,设计了网格模型和纹理图片的联合优化方案,在纹理图片简化时充分考虑纹理图片中不同块的细节特征,并对不同细节特征的块采用不同的降采样系数,在渐进式传输系统中实现最优的匹配结果。(3)从渲染管线出发对用户相关场景中三维模型的兴趣区域管理方法进行改进,增加了兴趣区域管理机制中视距参数来源,认为其半径应与渲染管线中相机内参中的远剪裁平面相关,提出了自适应的兴趣区域。使得系统的兴趣区域划分更加满足真实的用户体验场景。兴趣区域内的模型通过模型失真评估算法进行视觉重要程度排序,通过纹理图片和网格模型的联合优化算法确定纹理图片的采样率,依据兴趣区域的大小完成场景内容更新,完成了三维网格模型渐进式传输方案的设计。最后对所提出的渐进式传输方案进行了系统设计和仿真实验,并与传统方案进行对比。结果表明在带宽资源有限的网络条件下,相同时间内本文提出的方案可为用户提供视觉质量更高的三维场景。
复杂室内场景三维目标文本描述方法研究
这是一篇关于三维场景,多模态,目标检测,描述生成,注意力机制,门控循环单元的论文, 主要内容为随着深度学习技术在计算机视觉和自然语言处理领域的广泛应用,越来越多的学者将目光聚集到二者的交叉领域上来,图像描述、视觉搜索等基于二维数据的相关任务都取得了令人瞩目的发展。近些年来,三维传感技术的进步推动了三维视觉的革命性发展,对点云形式的三维室内场景数据的研究也逐渐成为当前的研究热点。目前,已经有相关工作致力于链接三维视觉和自然语言处理两个领域,相关数据集和优秀工作的提出,为在三维环境下的跨领域、多模态的任务提供了发展的基石。用于视觉信息向文本信息转换的描述任务在无人系统、幼教助残等方向拥有这广阔的应用场景和很大的现实意义。本文致力于对复杂三维室内场景中的视觉信息进行研究,通过特征的提取和模态之间的转化,实现目标物体的定位和对应物体的自然语言形式的文本描述生成。以三维目标的文本描述生成为最终任务,本文首先对三维点云和文本编码等相关领域做知识储备。然后研究并完成了以下两点核心任务:场景下三维目标特征提取和定位任务、三维目标描述文本生成任务。最后基于这两个任务提出了端到端的复杂室内场景三维目标文本描述生成方法。核心任务的具体工作如下:(1)复杂室内场景下的三维目标检测网络。本部分首先对较新且效果较好的三维目标检测网络——Vote Net做出分析,指出其不能充分利用三维场景数据和生成目标时相对孤立的局限性,并以此提出改进的Vote Net网络。在数据使用的过程中,本文将数据中包含的多视角特征通过二维到三维的投影融合到网络中;在候选物体生成的过程中,本文使用图结构将场景内物体之间做出关联,原本孤立的候选框生成步骤中添加了环境的上下文信息。通过实验证明,用交并比大于0.25的平均精确率的平均(m AP)计,本文的三维目标检测网络性能比基于原始点云的方法Vote Net网络高9.07,比基于多视图投影的方法3DSIS 5views高23.27。(2)三维目标描述文本生成网络。本部分以特征提取和目标检测部分输出的包含有目标特征的视觉信息为输入,完成将视觉信息向文本信息转化的过程。由于用于三维物体描述的工作还较少,本章首先提出基于GRU的简单基线模型,然后提出基于融合上下文信息的描述文本生成模型(CGMC-Net)。CGMC-Net综合考虑包括目标和全局特征在内的多维度视觉特征,在描述生成过程中使用有先验知识学习能力的注意力模块,实现了并行的效果较好的三维目标描述生成模块。通过实验验证,以交并比大于0.5的CIDEr指标计,CGMC-Net的描述生成结果比基于GRU的高1.18个百分点。最后本文通过网络策略,将目标检测和描述生成网络相结合,实现了端到端的复杂室内场景三维目标文本描述方法,通过实验验证,CGMC-Net的描述结果以交并比大于0.5的CIDEr指标计达到42.41%,与非端到端的实验结果相比提升7.91个百分点。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码码头 ，原文地址：https://bishedaima.com/lunwen/52810.html
