基于深度学习的实体关系联合抽取
这是一篇关于实体关系,联合抽取,三元组重叠,分解策略,机器阅读理解,端到端的论文, 主要内容为伴随着互联网数据的爆炸式增长,如何存储、管理、应用这些杂乱的非结构化数据,已成为人工智能领域的热门课题。知识图谱把杂乱数据中的概念、实体及其关系整理成结构化数据,并存储到图结构中,转化为人类认识世界的形式,利于管理、搜索、分析以及应用海量数据。实体关系抽取作为知识图谱构建任务的重要步骤,主要任务是把非结构化文本转化为结构化知识,直接影响着知识图谱的质量。同时,实体关系抽取还是搜索引擎、人机对话、智能交互、用户画像以及机器翻译等技术的基础,具有重要的研究意义。目前,实体关系抽取任务主要有两种解决方案:流水线模型和联合抽取模型。流水线模型把实体关系抽取任务分为实体识别和关系抽取两个子任务,存在着错误传播的现象。联合抽取模型为解决错误传播问题,使用一个模型同时抽取实体和关系,但是现有模型难以处理三元组重叠问题。本文分析了实体关系抽取任务存在的问题,针对问题改进模型,以提高实体关系抽取任务的效果。首先,本文提出了一个基于分解策略的实体关系联合抽取模型。首先,优化模型编码器,采用Word Piece模型、BERT预训练模型、BIO词性序列编码以及Bi LSTM模型,改进编码效果。然后,将实体关系抽取任务分解为两大阶段(头实体抽取和尾实体抽取),此措施可以帮助模型解决三元组单实体重叠问题。接着,将关系和尾实体抽取分解成并行的三个子过程,此措施可以帮助模型解决三元组中绝大部分实体对重叠问题。最后,将头实体抽取和尾实体抽取的每个子过程,都转化为序列标记任务,利用指针标注模型来处理。本文在NYT数据集上评估本模型,获得了良好的效果,Precision=87.0、Recall=85.1和F1=86.0。然后,本文提出了一个基于机器阅读理解的实体关系联合抽取模型。(1)将实体关系抽取任务转化为两段连续的机器阅读理解任务。阶段一,根据实体类型编制实体问题,抽取文本子序列回答实体问题,得到文本中所有实体;阶段二,根据当前实体和关系类型编制关系问题,抽取文本子序列回答关系问题,得到和当前实体有关系的所有实体。(2)对文本和问题进行编码,利用向量拼接的方式融合文本特征和问题特征,利用指针标注模型来抽取文本子序列生成问题答案。本文在NYT数据集上评估本模型,获得了良好的效果,Precision=86.7、Recall=86.2和F1=86.4。
文档图像的端到端几何与光照校正方法及应用
这是一篇关于文档图像预处理,神经网络,几何校正,光照校正,端到端的论文, 主要内容为文档图像预处理在OCR(Optical Character Recognition,光学字符识别)系统中占据了非常关键的地位,预处理效果的好坏将对识别结果造成直接影响。传统基于数字图像处理的预处理算法中往往有一个或多个参数需要人为调整,对于不同成像环境下所采集的图像,这些参数通常不具备普适性,导致算法的自适应性受限。在计算机视觉的各领域内,基于神经网络理论所构建的算法表现出了出色的性能及良好的泛化性。可以预见,将神经网络理论引入文档图像预处理工作将提升预处理算法的整体性能。本文对文档图像预处理算法进行了深入的调研与研究,基于神经网络理论,提出了文档图像预处理系统。该系统可以端到端的完成文档图像的预处理工作,对图像采集时存在的几何干扰与非几何干扰进行处理,以提升原始图像的视觉质量与OCR识别效果。本文所完成主要工作总结如下:1.提出了整合文档分割及校正功能的轻量化几何校正网络(Asymc Net)。使用Asymc Net对原始图像进行几何校正后,可将OCR识别结果的CER(Character Error Rate,字符错误率)从57.0%降低至27.3%。与业内较为先进的DFE-FC相比,Asymc Net的CER降低了3.2%,平均处理单张图像的耗时仅为其8.85%。2.基于生成对抗学习及Retinex理论,提出了自监督的光照校正网络(Rtnx GAN),可以使用不成对训练集完成网络的训练。Rtnx GAN可以对图像中的非几何干扰进行处理,经几何校正的图像再次使用光照校正网络进行处理后,可将CER进一步降低至21.9%。与全监督的光照校正网络ILL-Net相比,Rtnx GAN处理结果的SSIM(Structure Similarity Index Measure,结构相似性测度)提升了0.024,PSNR(Peak Signal to Noise Ratio,峰值信噪比)提升了1.418,平均处理单张图像的耗时仅为其59.22%。3.基于Python及PyQt5,完成了文档图像预处理系统的软件编写。根据算法特性,本文对相应硬件进行选型,完成了整个预处理系统的硬件平台搭建,对所提出的预处理算法的实际应用做出了验证。本文基于Asymc Net与Rtnx GAN,完成了整个图像预处理算法的设计与实现。所提出的算法可以高鲁棒地完成文档图像预处理工作,提升了图像的视觉效果与OCR识别精度。通过对比与消融实验证实了所提出算法的有效性与先进性。
功放非线性失真下毫米波波束赋形技术研究
这是一篇关于毫米波通信,波束赋形,功放非线性失真,深度学习,端到端的论文, 主要内容为毫米波通信旨在利用高频段丰富的频谱资源来实现大带宽高速率数据传输,以有效解决蜂窝网络低频段频谱资源紧张和无线数据业务爆炸性增长的瓶颈问题,因此已成为演进中的5G和未来6G标准中的关键技术之一。然而,相比传统的中低频段,毫米波段呈现了截然不同的信道特性,其中更显著的路径损耗、有限的散射和穿透能力不强等不利因素给毫米波通信系统设计带来了巨大的挑战。为了弥补严重的路径损耗,毫米波通信依赖于大规模天线阵列,实现基于波束赋形的精准定向传输。虽然先前已经有大量的工作针对毫米波波束赋形技术进行了研究,但相关的设计和优化往往基于理想的射频链路硬件能力假设,无法准确地反映实际系统的性能。其中,高频功率放大器的成熟度较低,在工作于饱和区域时容易导致传输信号的非线性放大失真,从而严重影响系统的可达频谱效率和误码性能。因此,迫切需要建模和分析功放的非线性失真对系统性能的影响,并基于相关模型设计高效的失真感知波束赋形优化算法,以提升实际系统的性能。本文针对上述问题开展了以下两个方面的研究。首先,针对基站到多用户的下行链路通信场景,本文对功放的非线性失真对多用户波束赋形的影响进行了建模和分析,并研究了基于非线性失真统计信息的多用户波束赋形优化问题。具体而言,我们利用Bussgang定理建立了非线性失真项的统计特性,分析了失真项在空域分布特性与波束赋形之间的耦合关系。在此基础上,我们研究了考虑非线性失真统计特性的多用户波束赋形优化问题。为了应对建模问题的高度非凸性的挑战,我们提出了一种基于WMMSE(Weighted Minimum Mean Squared Error)的失真感知波束赋形算法,利用WMMSE转化原理和改进的梯度下降法,使得原问题更容易求解,并且收敛到更好的局部最优解。数值仿真结果表明,所提出的波束赋形算法在有效地降低非线性失真对于有用信号的影响的同时,显著提升了系统的频谱效率。其次,本文采用了数据驱动方法,进一步研究了基于深度学习的联合功放非线性补偿和波束赋形优化设计。传统的数字预失真技术通过在每个功放前端配置一个与功放非线性特征相反的预失真模块,从而实现功放非线性的补偿。然而,在毫米波大规模MIMO系统中,采用逐功放的补偿方法会导致硬件成本和复杂度较高,并且依赖于准确的功放模型先验知识。为解决这些问题,我们提出了一种基于集总的补偿模块,实现对多阵列单元中多个功放的非线性联合补偿的解决方案。该方案通过引入发端神经网络来间接学习和补偿功放非线性失真模型,同时完成波束赋形的优化,并通过引入接收端神经网络与发端网络匹配来完成端到端的信号解调。为了使整体网络更快地收敛并取得较好的解,我们考虑了一种两阶段训练方案:在第一阶段,采用MMSE波束赋形作为标签,利用监督学习训练发端神经网络,以获得较好的初始值;在第二阶段,利用自监督学习来联合训练发送网络和解码网络,从而最小化端到端的系统误码率。数值仿真结果验证了所提出的方案的有效性。与现有基于ZF波束赋形和补偿网络分离设计的方案相比,该方案在更低的计算复杂度下,实现了更好的系统误码性能。
面向新闻文本的实体抽取和链接技术研究
这是一篇关于实体抽取,实体链接,端到端,知识蒸馏的论文, 主要内容为信息时代的高速发展带来的不仅是信息流动的加快,还带来了信息的快速积累,其中非结构化的文本信息占据其中很大一部分。实体识别和实体链接技术是从非结构化的文本中抽取结构化的实体知识并与知识库进行链接得到统一的表示,是知识抽取的一项重要任务,对于构建知识图谱、问答系统等有重要的意义。在构建实体识别和链接模型时,存在标注新闻数据样本类型分布不均衡、文本中的实体对上下文的长距离依赖、新闻中用词不规范导致的一词多义等问题,如何解决这些问题是新闻分析的关键。在实体抽取中,基于预训练模型BERT和双向长短期记忆网络BiLSTM进行编码,有效融合实体上下文,并使用双向条件随机场CRF解码增加实体边界识别效果。针对实体抽取训练样本分布不均衡问题,利用少样本学习模型StructShot对稀疏类型实体进行层次化抽取。实体链接基于知识库Wikidata和Wikipedia,使用实体别名、实体描述及反向索引等实体特征作为检索条件构建候选实体生成模块,并使用分类的方法构建多特征融合的实体匹配模型。从实体抽取和实体链接任务的相关性角度出发,使用知识蒸馏的框架,将识别效果较好的实体抽取模型的知识迁移到实体匹配模型中,有效提高实体链接模型在小数据集下的识别能力。为了验证实体抽取和实体链接模型的有效性,构建面向新闻文本的端到端实体识别系统,用于新闻知识图谱。对于实体抽取任务选用基于新闻文本的CoNLL-2003和OntoNotes5数据集进行评估,模型在两个数据集上的Micro-F1值分别达到91.6%和89.3%,超过了目前大多数模型,且相较于spaCy有4%的提升。对于实体链接任务,与端到端实体识别系统TagMe对比,在不同的阈值下有1%~10%左右的提升。
基于深度学习的物体检测及机器人抓取方法研究
这是一篇关于机器人抓取检测,物体识别,深度学习,端到端,生成式抓取位姿预测的论文, 主要内容为随着社会对服务机器人需求的不断增加,服务机器人与环境交互方面也变得越来越智能化。抓取是机器人与环境交互的重要方式,因此研究机器人抓取问题很有必要。服务机器人常处于各种复杂的非结构化环境,在抓取时更多地面向新颖未知物体的抓取。相比各种复杂抓取器结构设计,通用机器人抓取检测方法普适性广,更具有研究意义。传统基于手工设计特征和先验物体知识进行的物体抓取检测方法,无法高效抓取未知物体,更不适用于背景干扰和局部遮挡等复杂环境。基于深度学习的抓取检测方法具有能够将学习过的物体抓取特征泛化到新颖未知物体上的优势。为此,本文研究了基于深度学习的机器人抓取检测,提出了单物体场景和多物体场景下的机器人抓取检测方法,所提算法有效提高了机器人在新环境下的物体抓取检测能力。建立了基于Kinect的机器人抓取系统框架。研究了相机标定原理和相机成像过程中的不同坐标系转换过程,并基于Matlab Camera Calibrator工具完成了Kinect V2相机标定实验。采用D-H参数法对抓取实验所用机械臂建模,并进行了正逆运动学分析。针对单物体场景的机器人抓取检测,提出一种基于Res Net-50改进的单物体场景抓取检测网络。采用生成式的像素级抓取预测方式,在Res Net-50目标分类任务分支基础上增加抓取检测任务分支,两个任务分支在图像特征提取阶段权值共享。网络输入物体RGB图像,最终输出物体的最优抓取位姿和所属物体类别信息。在自建数据集和Cornell数据集上进行网络训练和测试,并对多任务学习总损失函数和网络训练策略进行优化。在自建数据集上获得99.70%的分类准确率和89.02%的抓取准确率;在Cornell数据集按图像划分方式获得97.74%的检测精度,按物体划分方式获得96.61%的检测精度。结果表明改进网络有效提高了单物体场景抓取检测精度,验证了所提算法的性能。针对多物体场景的机器人抓取检测,提出一种融合目标检测与抓取检测任务的端到端多物体抓取检测方法。按照单物体场景抓取检测方法的多任务学习网络架构思想,在YOLO v5物体检测网络分支的基础上添加抓取检测任务分支。在特征提取网络部分解耦两个任务分支,通过权值共享减少网络参数;在网络输出部分耦合两个任务分支的预测。通过设计的联合推理策略,将物体检测任务预测的类别信息匹配到抓取检测任务预测的对应物体的抓取位姿上。在自建多物体抓取数据集上进行网络训练和测试,获得类别检测m AP为94.0%,抓取检测m AP为74.17%。结果表明所提算法在多物体场景下具有较高的类别检测精度和抓取检测精度,验证了所提算法的性能。搭建了基于Pybullet的仿真抓取实验环境。结合Pytorch深度学习框架进行了单物体和多物体场景的机器人抓取检测仿真实验。对于单物体场景下已知物体和未知新颖物体的抓取实验分别获得了83.72%和78%的抓取成功率;对于多物体场景的抓取实验获得了80.18%的抓取成功率。抓取实验结果验证了本文提出的抓取检测方法的可行性和有效性。本课题研究对于提高服务机器人抓取检测能力和对未知环境的感知能力具有重要意义。
功放非线性失真下毫米波波束赋形技术研究
这是一篇关于毫米波通信,波束赋形,功放非线性失真,深度学习,端到端的论文, 主要内容为毫米波通信旨在利用高频段丰富的频谱资源来实现大带宽高速率数据传输,以有效解决蜂窝网络低频段频谱资源紧张和无线数据业务爆炸性增长的瓶颈问题,因此已成为演进中的5G和未来6G标准中的关键技术之一。然而,相比传统的中低频段,毫米波段呈现了截然不同的信道特性,其中更显著的路径损耗、有限的散射和穿透能力不强等不利因素给毫米波通信系统设计带来了巨大的挑战。为了弥补严重的路径损耗,毫米波通信依赖于大规模天线阵列,实现基于波束赋形的精准定向传输。虽然先前已经有大量的工作针对毫米波波束赋形技术进行了研究,但相关的设计和优化往往基于理想的射频链路硬件能力假设,无法准确地反映实际系统的性能。其中,高频功率放大器的成熟度较低,在工作于饱和区域时容易导致传输信号的非线性放大失真,从而严重影响系统的可达频谱效率和误码性能。因此,迫切需要建模和分析功放的非线性失真对系统性能的影响,并基于相关模型设计高效的失真感知波束赋形优化算法,以提升实际系统的性能。本文针对上述问题开展了以下两个方面的研究。首先,针对基站到多用户的下行链路通信场景,本文对功放的非线性失真对多用户波束赋形的影响进行了建模和分析,并研究了基于非线性失真统计信息的多用户波束赋形优化问题。具体而言,我们利用Bussgang定理建立了非线性失真项的统计特性,分析了失真项在空域分布特性与波束赋形之间的耦合关系。在此基础上,我们研究了考虑非线性失真统计特性的多用户波束赋形优化问题。为了应对建模问题的高度非凸性的挑战,我们提出了一种基于WMMSE(Weighted Minimum Mean Squared Error)的失真感知波束赋形算法,利用WMMSE转化原理和改进的梯度下降法,使得原问题更容易求解,并且收敛到更好的局部最优解。数值仿真结果表明,所提出的波束赋形算法在有效地降低非线性失真对于有用信号的影响的同时,显著提升了系统的频谱效率。其次,本文采用了数据驱动方法,进一步研究了基于深度学习的联合功放非线性补偿和波束赋形优化设计。传统的数字预失真技术通过在每个功放前端配置一个与功放非线性特征相反的预失真模块,从而实现功放非线性的补偿。然而,在毫米波大规模MIMO系统中,采用逐功放的补偿方法会导致硬件成本和复杂度较高,并且依赖于准确的功放模型先验知识。为解决这些问题,我们提出了一种基于集总的补偿模块,实现对多阵列单元中多个功放的非线性联合补偿的解决方案。该方案通过引入发端神经网络来间接学习和补偿功放非线性失真模型,同时完成波束赋形的优化,并通过引入接收端神经网络与发端网络匹配来完成端到端的信号解调。为了使整体网络更快地收敛并取得较好的解,我们考虑了一种两阶段训练方案:在第一阶段,采用MMSE波束赋形作为标签,利用监督学习训练发端神经网络,以获得较好的初始值;在第二阶段,利用自监督学习来联合训练发送网络和解码网络,从而最小化端到端的系统误码率。数值仿真结果验证了所提出的方案的有效性。与现有基于ZF波束赋形和补偿网络分离设计的方案相比,该方案在更低的计算复杂度下,实现了更好的系统误码性能。
基于深度学习的实体关系联合抽取
这是一篇关于实体关系,联合抽取,三元组重叠,分解策略,机器阅读理解,端到端的论文, 主要内容为伴随着互联网数据的爆炸式增长,如何存储、管理、应用这些杂乱的非结构化数据,已成为人工智能领域的热门课题。知识图谱把杂乱数据中的概念、实体及其关系整理成结构化数据,并存储到图结构中,转化为人类认识世界的形式,利于管理、搜索、分析以及应用海量数据。实体关系抽取作为知识图谱构建任务的重要步骤,主要任务是把非结构化文本转化为结构化知识,直接影响着知识图谱的质量。同时,实体关系抽取还是搜索引擎、人机对话、智能交互、用户画像以及机器翻译等技术的基础,具有重要的研究意义。目前,实体关系抽取任务主要有两种解决方案:流水线模型和联合抽取模型。流水线模型把实体关系抽取任务分为实体识别和关系抽取两个子任务,存在着错误传播的现象。联合抽取模型为解决错误传播问题,使用一个模型同时抽取实体和关系,但是现有模型难以处理三元组重叠问题。本文分析了实体关系抽取任务存在的问题,针对问题改进模型,以提高实体关系抽取任务的效果。首先,本文提出了一个基于分解策略的实体关系联合抽取模型。首先,优化模型编码器,采用Word Piece模型、BERT预训练模型、BIO词性序列编码以及Bi LSTM模型,改进编码效果。然后,将实体关系抽取任务分解为两大阶段(头实体抽取和尾实体抽取),此措施可以帮助模型解决三元组单实体重叠问题。接着,将关系和尾实体抽取分解成并行的三个子过程,此措施可以帮助模型解决三元组中绝大部分实体对重叠问题。最后,将头实体抽取和尾实体抽取的每个子过程,都转化为序列标记任务,利用指针标注模型来处理。本文在NYT数据集上评估本模型,获得了良好的效果,Precision=87.0、Recall=85.1和F1=86.0。然后,本文提出了一个基于机器阅读理解的实体关系联合抽取模型。(1)将实体关系抽取任务转化为两段连续的机器阅读理解任务。阶段一,根据实体类型编制实体问题,抽取文本子序列回答实体问题,得到文本中所有实体;阶段二,根据当前实体和关系类型编制关系问题,抽取文本子序列回答关系问题,得到和当前实体有关系的所有实体。(2)对文本和问题进行编码,利用向量拼接的方式融合文本特征和问题特征,利用指针标注模型来抽取文本子序列生成问题答案。本文在NYT数据集上评估本模型,获得了良好的效果,Precision=86.7、Recall=86.2和F1=86.4。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码项目助手 ,原文地址:https://bishedaima.com/lunwen/48590.html