铁路旅行知识图谱的构建与应用研究
这是一篇关于知识图谱,自然语言理解,语义槽填充,意图识别,铁路旅行助手的论文, 主要内容为作为国民经济大动脉,铁路在交通领域和旅游市场都占据着重要的位置,为进一步落实“互联网+”战略,提升铁路信息基础设施服务能力,扩大铁路领域经济优势,本文将铁路与旅游产品相结合,构建了融合铁路交通信息与旅游信息的铁路旅行知识图谱。本文的主要工作如下:(1)构建了铁路旅行知识图谱。首先,针对铁路交通数据的特殊性,设计了一套周期性且适用于复杂关系的本体构建方案,从而完成铁路旅行本体构建;然后,从不同数据源中收集铁路交通数据和旅游产品数据,并使用信息抽取与知识融合技术获取三元组;最后,采用图数据库Neo4j实例化铁路旅行本体并对三元组进行持久化存储。(2)对自然语言理解任务中语义槽填充和意图识别联合模型进行研究,针对联合模型中共享信息利用不充分和负面信息交叉影响的问题,本文基于Bi-Model模型提出一种融合注意力机制的双网络模型BNSA。该模型利用两个编码器-解码器完成自然语言理解任务,在编码阶段使用注意力机制来捕捉额外的语义信息,在解码阶段显式交互两个网络的语义特征,以建立任务之间的关联。实验证实,相比于原模型,本文所提BNSA模型在自然语言理解任务的语义槽填充F1值、意图识别准确率、整体准确率三项指标上均有提升。(3)利用上述图谱与模型,设计并实现了铁路旅行助手系统。系统首先使用支持向量机和梯度提升决策树的融合算法完成问句的粗分类,判定问题所属领域;之后使用Aho-Corasick算法和BNSA模型完成文本关键信息抽取,并基于词典和规则完成实体链接;然后利用抽取的约束对模型识别的意图进行细化,匹配预定义的检索模板;最后通过成功链接至图谱的实体实例化模板形成查询语句,在知识图谱中执行查询后,将检索结果转化为自然语言反馈给用户。综上,本文采用自顶向下的构建方法,完成了铁路旅行知识图谱的构建;提出了自然语言理解模型BNSA,并在ATIS数据集上验证模型的有效性,在铁路旅行数据集上验证模型在目标领域的适用性。
基于BERT的社交网络中搜索推荐算法的研究与实现
这是一篇关于社交网络,搜索推荐,BERT,知识图谱,语义槽填充,模型蒸馏的论文, 主要内容为随着互联网的发展,社交网络开始向市场垂直化发展,为更好满足用户需求,可根据特定领域的特点对搜索功能进行优化与升级。相比于传统的语言表示模型,BERT使用Transformer作为特征提取器,有更强的特征提取能力,因此本文基于BERT进行社交网络的搜索推荐。但BERT应用在社交搜索场景,仍有很多不足之处:1)BERT未考虑特定领域的外部知识;2)搜索场景通常为短文本,不是完整句子,有时意图识别任务不能有效分析出用户意图;3)BERT参数过多,不适用于对性能、资源有一定要求的搜索推荐场景。本文针对当前研究工作的不足,分别提出了对应的解决方法。主要研究内容包括:(1)提出了在BERT训练编码阶段、基于字,词,实体三种等级进行mask的方法,同时提出将知识三元组与BERT搜索语句结合的编码方式,并结合一定的负采样机制和token seeing layer增强模型效果,避免知识的引入带来的噪声问题。(2)为充分利用意图识别任务和语义槽填充任务间密切的语义关联,对两者进行联合训练,提升各自任务的效果。(3)为压缩BERT,研究新的蒸馏学习目标,同时结合文本编辑增强数据,减少模型参数的同时保证不对模型的准确率造成太大影响。本文整合这些方法,形成基于BERT结合知识图谱的深度学习网络模型(Knowledge Embedded of BERT,KE-BERT),对社交网络数据进行搜索,之后,BERT结合TextCNN,TextRank等技术,计算用户特征与文本的相似度,对搜索出的数据进行推荐,最终实验结果验证了该方法在社交搜索推荐场景上的有效性。此外,文本设计一代码仓库搜索推荐系统,承载KE-BERT模型与混合推荐算法,为用户提供仓库的搜索功能。
基于BERT的社交网络中搜索推荐算法的研究与实现
这是一篇关于社交网络,搜索推荐,BERT,知识图谱,语义槽填充,模型蒸馏的论文, 主要内容为随着互联网的发展,社交网络开始向市场垂直化发展,为更好满足用户需求,可根据特定领域的特点对搜索功能进行优化与升级。相比于传统的语言表示模型,BERT使用Transformer作为特征提取器,有更强的特征提取能力,因此本文基于BERT进行社交网络的搜索推荐。但BERT应用在社交搜索场景,仍有很多不足之处:1)BERT未考虑特定领域的外部知识;2)搜索场景通常为短文本,不是完整句子,有时意图识别任务不能有效分析出用户意图;3)BERT参数过多,不适用于对性能、资源有一定要求的搜索推荐场景。本文针对当前研究工作的不足,分别提出了对应的解决方法。主要研究内容包括:(1)提出了在BERT训练编码阶段、基于字,词,实体三种等级进行mask的方法,同时提出将知识三元组与BERT搜索语句结合的编码方式,并结合一定的负采样机制和token seeing layer增强模型效果,避免知识的引入带来的噪声问题。(2)为充分利用意图识别任务和语义槽填充任务间密切的语义关联,对两者进行联合训练,提升各自任务的效果。(3)为压缩BERT,研究新的蒸馏学习目标,同时结合文本编辑增强数据,减少模型参数的同时保证不对模型的准确率造成太大影响。本文整合这些方法,形成基于BERT结合知识图谱的深度学习网络模型(Knowledge Embedded of BERT,KE-BERT),对社交网络数据进行搜索,之后,BERT结合TextCNN,TextRank等技术,计算用户特征与文本的相似度,对搜索出的数据进行推荐,最终实验结果验证了该方法在社交搜索推荐场景上的有效性。此外,文本设计一代码仓库搜索推荐系统,承载KE-BERT模型与混合推荐算法,为用户提供仓库的搜索功能。
基于BERT的社交网络中搜索推荐算法的研究与实现
这是一篇关于社交网络,搜索推荐,BERT,知识图谱,语义槽填充,模型蒸馏的论文, 主要内容为随着互联网的发展,社交网络开始向市场垂直化发展,为更好满足用户需求,可根据特定领域的特点对搜索功能进行优化与升级。相比于传统的语言表示模型,BERT使用Transformer作为特征提取器,有更强的特征提取能力,因此本文基于BERT进行社交网络的搜索推荐。但BERT应用在社交搜索场景,仍有很多不足之处:1)BERT未考虑特定领域的外部知识;2)搜索场景通常为短文本,不是完整句子,有时意图识别任务不能有效分析出用户意图;3)BERT参数过多,不适用于对性能、资源有一定要求的搜索推荐场景。本文针对当前研究工作的不足,分别提出了对应的解决方法。主要研究内容包括:(1)提出了在BERT训练编码阶段、基于字,词,实体三种等级进行mask的方法,同时提出将知识三元组与BERT搜索语句结合的编码方式,并结合一定的负采样机制和token seeing layer增强模型效果,避免知识的引入带来的噪声问题。(2)为充分利用意图识别任务和语义槽填充任务间密切的语义关联,对两者进行联合训练,提升各自任务的效果。(3)为压缩BERT,研究新的蒸馏学习目标,同时结合文本编辑增强数据,减少模型参数的同时保证不对模型的准确率造成太大影响。本文整合这些方法,形成基于BERT结合知识图谱的深度学习网络模型(Knowledge Embedded of BERT,KE-BERT),对社交网络数据进行搜索,之后,BERT结合TextCNN,TextRank等技术,计算用户特征与文本的相似度,对搜索出的数据进行推荐,最终实验结果验证了该方法在社交搜索推荐场景上的有效性。此外,文本设计一代码仓库搜索推荐系统,承载KE-BERT模型与混合推荐算法,为用户提供仓库的搜索功能。
对话系统中面向小样本的自然语言理解
这是一篇关于小样本学习,自然语言理解,意图识别,语义槽填充,领域外检测,错例修复的论文, 主要内容为随着人工智能的发展,用于和人类交互的智能对话系统变得越来越普及,相对于闲聊型对话系统的开放性和无目的性,任务型对话系统更多的是任务、技能相关,如现在很多电商平台都使用智能客服帮助用户解决问题需求。随着任务场景覆盖面越来越广,任务型对话系统面临着频繁增加功能的需求,然而任何新的领域、新的需求在出现的初期标注数据都非常匮乏,如何通过少量样本为对话系统快速增加新的功能成为现在任务型对话系统的一个挑战。自然语言理解是管道式任务型对话系统的重要模块,自然语言理解的经典做法是通过将非结构化的自然语言输入通过意图识别和语义槽填充转化成为结构化的数据,本课题在此基础上分别进行了小样本场景的意图识别和小样本场景的语义槽填充的实现,构成了自然语言理解模块的基础功能。本课题使用BERT作为小样本意图识别和语义槽填充的编码器,其中小样本意图识别采用度量学习的框架,并使用原形网络作为类别的发射打分器,同时融入基于词频的发射打分器,整体模型通过优化样本和类别表示的距离进行参数学习,最终得到一个性能良好的小样本意图识别模型,并且支持在不进行中间任务训练的前提下也有不错的表现;小样本语义槽填充模块首先利用度量学习的方法,通过交互式BERT编码器和原形网络计算发射打分,同时引入具有序列任务特点的基于数理统计的转移打分,最后使用条件随机场模型进行联合解码和学习。在真实的生产场景中,对话系统仅有上述的基础功能仍然是不完备的,因此本课题在自然语言理解模块中融入了一些重要的模块用于完善对话系统的功能。通过将源领域文本视为领域外语料,并计算阈值的方法能够简单高效地实现领域外检测的功能;通过将错例加入到支撑集,并进行预筛选或权值衰减的机制可以实现错例快速修复;通过匹配用户自定义的句式模板、语义槽词典等规则信息调整发射打分,可以实现融入用户自定义信息的功能。实现了上述功能以后,本课题整体最终实现了功能齐全的小样本自然语言理解单一模型。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设导航 ，原文地址：https://bishedaima.com/lunwen/56079.html
