在线医疗社区问答文本的知识图谱构建研究
这是一篇关于医疗问答社区,知识图谱,双向长短记忆神经网络,双向门控循环单元,深度学习的论文, 主要内容为随着互联网的快速发展,Web2.0时代的到来,人们获取知识的途径愈发多样。当今快节奏的生活让人们更加关注医疗健康问题,较之于去医院咨询医生这种传统的咨询方式,人们逐渐习惯于通过在线医疗社区来获取相关的医疗信息,以解决自身或家人的一些简单的健康问题,同时提高对相关疾病的认知与预防。在“好大夫在线”,“寻医问药网”,“39健康网站”等具有一定用户规模的医疗社区问答版块中,积累了成千上万条的文本记录,这些记录是一种非结构化的文本形式,具有数据量大、规范性差、数据稀疏的社区文本特性,又兼顾专业性和复杂性的医疗文本特性,具有很好的研究价值。知识图谱(Knowledge Graph)作为一种知识表示的方式,本质上是一种语义网络技术,在医疗方面,应用知识图谱的研究多集中在电子病历(Electronic Medical Record,EMR),对于在线医疗社区问答文本的研究却并不多。因此,基于医疗社区的问答文本,本文综合利用双向长短记忆神经网络(Bidirectional Long Short Term Memory,BiLSTM)、条件随机场(Conditional Random Field,CRF)、双向门控循环单元(Bidirectional gated recurrent neural network,BiGRU)和注意力机制(Attention)深度学习模型,成功构建了在线医疗社区乳腺癌知识图谱。首先,本文选取“寻医问药网”中的乳腺癌版块作为研究对象,爬取了该版块页面中共计12626条问答数据;通过切词分词和去除停用词对数据进行简单的预处理;接着利用Word2vec对词向量预训练;然后进行实体识别和关系抽取,在实体识别过程中,利用词云(Word Cloud)对实体作了进一步客观性细分类,接着利用BiLSTM-CRF模型对BIO标注的数据集进行实体识别,实验发现细分实体比未细分实体在结果上表现更好;接着利用BiGRU-Attention模型抽取各实体间的关系,实验结果显示,该模型无论是在准确率、召回率还是F值上都比BiLSTM-Attention抽取模型有较大的提升;之后对所有识别实体进行实体对齐操作;最后利用Neo4j图数据库构建了一个可视化的知识图谱,并从展示层面和管理应用层面对其进行了分析。研究总结与贡献:本研究将非结构化的社区文本转化为结构化数据,成功构建了在线社区医疗问答文本的知识图谱;其次,首次利用词云工具将实体标注类型进行客观性细分,使得实体识别更加准确;最后,本文所构建的在线医疗社区问答文本知识图谱,在医疗社区的智能知识服务、知识表示、个性化知识推荐等方面具有推动作用,为个性化医疗和其他网络社区研究提供了一个新方向和服务思路。
基于多示例学习的乳腺病理学全切片图像识别研究
这是一篇关于多示例学习,全切片图像分类,图卷积网络,门控注意力机制,双向门控循环单元的论文, 主要内容为乳腺病理学全切片图像(Whole Slide Image,WSI)分类和病灶定位因需要充分的组织病理学上下文感知特征表示而成为计算病理学中具有挑战性的任务。鉴于WSI多尺度、尺寸大和标注困难等特点,现有算法大多基于多示例学习(Multiple Instance Learning,MIL)方法设计,因为该方法只需要图像级标签就能实现病理学WSI分类。然而,MIL方法将WSI中不同位置的图像块视为独立同分布的区域,导致现有算法无法有效利用图像块的空间位置和上下文感知信息实现WSI识别分类与病灶定位。针对上述问题,本文提出了一种基于图卷积网络注意力多示例学习(Graph Convolutional Network Attention-Based Multiple Instance Learning,ABMIL-GCN)的全切片图像识别与分类模型。该方法首先利用Res Net50提取WSI图像块的特征并构建WSI级图数据。其次利用图卷积网络模拟WSI图像块的局部、全局拓扑结构,充分保留图像块在原WSI上的空间位置和上下文信息,建立图像块特征之间的依赖关系。最后利用基于门控注意力机制的多示例池化网络量化每个图像块特征的注意力分数从而实现WSI级特征聚合和热图可视化。此外,本文还提出使用洪水优化方法(flooding)进一步优化ABMIL-GCN模型的表现,实验表明,优化后的ABMIL-GCN模型在Camelyon16测试集上的平均准确率和AUC值分别提升至90.89%和0.9149,ABMIL-GCN方法优于现有的弱监督学习算法。尽管ABMIL-GCN模型能够建立图像块之间的依赖关系,但其获取到的上下文信息受限于图卷积网络中的邻接矩阵,只能建立当前图像块与邻居图像块间的上下文依赖关系。因此,为了获得更大范围图像块的空间位置和上下文信息,本文提出一种基于双向门控循环单元注意力多示例学习(Bidirectional Gated Recurrent Unit Attention-Based Multiple Instance Learning,ABMIL-Bi GRU)的全切片图像识别与分类模型。该方法首先对WSI按行按列扫描提取图像块并使用Res Net50提取图像块特征,其次利用双向门控循环单元建立图像块行特征间和列特征间的长短距离依赖关系并进行特征拼接,从而实现更大范围图像块的空间位置和上下文感知信息嵌入。最后利用基于门控注意力机制的多示例池化网络量化每个拼接特征的注意力分数从而实现WSI级特征聚合和热图可视化。实验表明,ABMIL-Bi GRU模型在Camelyon16测试集上的平均准确率和AUC值分别达到91.86%和0.9467,在与其他方法的比较中,验证了ABMIL-Bi GRU模型的优越性。
城市交通目标检测与流量预测研究
这是一篇关于目标检测,短时交通流预测,深度可分离卷积,完全自适应噪声集合经验模态分解,麻雀搜索算法,双向门控循环单元的论文, 主要内容为城市交通目标检测与短时交通流量预测作为智能网联交通系统的重要组成部分,其研究已成为路网交通监测方向的研究热点之一。然而在实际应用场景中,由于路测监控设备计算和存储资源有限,传统目标检测算法难以直接部署到路网。同时,城市日交通流量具有非线性、非平稳性和时序相关性的特征,导致交通流量预测误差较大等问题。针对上述问题,本文围绕目标检测模型轻量化设计和短时交通流量预测组合建模等技术展开研究。主要工作内容如下:(1)围绕智能网联交通系统展开研究,由于车载单元与路测监控设施的计算、存储资源有限,直接部署传统YOLOv4模型难以确保城市交通目标检测的高效性与适应性,提出了一种城市交通目标检测轻量级模型。该模型首先基于Ghost Net轻量级网络对YOLOv4主干网络进行重构,降低模型计算量。其次,通过在GBN组件中融合三维Sim AM注意力机制,提高模型对关键区域的高分辨能力。然后,基于深度可分离卷积改进YOLOv4特征融合网络,进一步降低模型参数。最后,通过标签平滑算法减少真实样本标签的类别在计算损失函数时的权重,提高图像分类的精确度。实验结果表明:Edge-YOLOv4模型的参数量较YOLOv4减少了约82%,检测速率提高了7.06 frames/s,且验证了不同场景下的目标检测均具有鲁棒性。(2)由于城市交通流量数据呈现非线性、非平稳性和时序相关性的特征,导致传统算法流量预测性能误差较大,提出一种城市高速公路短时交通流组合预测模型。该模型首先采用改进的基于完全自适应噪声集合经验模态分解方法对原始交通流量序列进行分解,细化交通流量序列非平稳性特征;然后,利用双向门控循环单元挖掘交通流量序列中的时序相关性特征;最后,基于动态自适应t分布变异方法改进麻雀搜索算法,实现对双向门控循环单元网络权值参数的迭代寻优,避免了短时预测结果陷入局部最优。实验结果表明:改进后的交通流量预测平均绝对误差为10.98,平均绝对值百分误差为10.12%,均方根误差为12.42。(3)针对目前交通目标检测与流量预测在实际场景中应用不足,抽象的交通流数据难以被出行者理解和使用的问题,设计并实现了一个城市交通目标检测与流量预测可视化系统。本系统主要包括系统管理、数据采集、目标检测和交通流量预测等核心模块。同时,在功能模块设计区域热力图、交通拥堵排名、交通流量查询及预测等功能,从而保证用户多样化的需求,为解决城市交通拥堵及用户出行提供数据基础与平台支撑。
基于混合深度学习模型的城市交通流量预测
这是一篇关于智能交通,交通流预测,卷积神经网络,双向门控循环单元,图神经网络,残差连接,注意力机制的论文, 主要内容为近年来,随着城市化进程的加速推进,我国汽车保有量日益增长,给居民出行带来了便利。同时,交通拥堵、交通噪声、空气质量恶化等问题严重制约了城市的发展,成为全国各个城市普遍面临的难题。智能交通及各种现代技术的出现,为有效改善交通状况提供了新的思路。交通流预测作为智能交通系统的关键核心技术,已成为交通领域研究的热点。本文基于神经网络基础和图神经网络的理论与方法,建立了两种混合深度学习模型的交通流量预测,具体的研究内容包括以下两个方面:(1)针对交通流的非线性、时间动态性、空间相关性等特征,提出一种基于注意力机制的CNN-Bi GRU的交通流量预测模型。该模型中,卷积神经网络(CNN)用于捕获交通流量的空间相关特征。双向门控循环单元(Bi GRU)分别从前向和后向传播中都获取信息,充分提取交通流的时间相关特征。注意力机制的引入使得交通流最重要的特征可分配到最大程度的关注,从而更好的提升CNN网络和Bi GRU网络提取时空特征的能力,达到提升模型的预测精度的目的。在真实数据集上的对比实验和消融实验的结果都表明:基于注意力机制的CNN-Bi GRU的交通流预测模型在捕获时空相关性方面具有一定的优势,较其他的基线模型具有提高预测性能的优势。(2)针对交通流的空间动态性和多尺度时间相关性,提出一种基于时空注意力的Cheb Net和Bi GRU相结合的交通流量预测模型(STAM-CN-Bi GRU),该模型由多层时空残差模块组成。首先,利用Cheb Net学习路网拓扑引起的交通流的空间依赖性,并将Bi GRU与CNN相结合,获取交通流的多尺度时间相关性。然后,在交通流预测模型中引入混合时空注意模块,刻画每个节点的时空依赖关系的不同重要程度。把三个不同时间粒度的交通流量(临近序列、日周期序列、周周期序列)的预测结果进行加权融合,得到最终预测结果。最后,在真实数据集上,对所提模型的一步预测、多步预测的预测性能进行了广泛评估,并且与其他基线模型进行对比,结果表明,该模型较其他基线模型可以显著提高预测精度,特别是在多步预测方面优于其他模型。
基于远程监督学习的关系抽取方法研究
这是一篇关于远程监督,关系提取,图卷积神经网络,双向门控循环单元,预训练模型的论文, 主要内容为关系三元组信息作为使用最普遍的知识表达方式,是构建知识图谱的重要来源,而关系抽取任务负责从非结构化文本中抽取出关系三元组信息。传统的关系抽取方法极度依赖大规模已标注训练数据,而标注训练数据需要耗费大量的人力物力,远程监督方法通过将非结构化文本与知识库对齐的方式自动生成大规模已标注训练数据,从而降低数据集标注的成本。远程监督方法虽然解决了标注训练数据的难题,但是由于其强假设思想,不可避免的带来了噪声数据,而且标注的训练数据存在长尾分布问题。为了降低噪声数据和长尾分布的影响,并提高远程监督关系抽取模型的准确率,本文提出了一种新型的远程监督关系提取方法:在句子表示方面,利用预训练模型获取词向量,将词向量与位置向量串联形成更丰富的语义向量;在特征提取方面,使用双向门控循环单元模型和图卷积神经网络模型学习训练数据的特征信息;在减缓噪声问题方面,使用词级别与句子级别注意力机制使模型重点关注有效的训练样本,少关注或不关注无效的样本;除此之外,为了丰富数据信息,缓解训练数据长尾分布问题,利用实体背景信息,实体类型信息,关系别名信息辅助关系抽取任务以及使用Focal Loss损失函数使关系提取模型重点关注数据量少的样本,使模型训练更充分。最后使用Riedel和GIDS开源数据集验证模型的有效性。实验结果表明,设计实现的远程监督关系抽取模型相比以往的远程监督关系抽取基线模型在准确率和召回率上得到明显提升,在Riedel数据集上AUC指标上高达0.41。为了更好的展示远程监督关系抽取过程,使用Flask网络框架搭建了一个远程监督关系抽取演示系统。
集成学习命名实体识别算法的研究与实现
这是一篇关于命名实体识别,集成学习,BERT,双向门控循环单元,迭代膨胀卷积神经网络的论文, 主要内容为命名实体识别作为自然语言处理的一项基础工作,主要目的是识别出文本中包含的通用或垂直领域具有实际意义的实体。命名实体的准确识别可以促进机器翻译、推荐系统和知识图谱等上层任务的研究。传统的命名实体识别大多依赖领域专家构建的规则模板或统计特征,这种方式需要耗费大量的人力且模型的通用性较差。目前,绝大多数模型采用深度学习的方式完成命名实体识别任务,这类模型能够从海量文本数据中自动学习特征信息,并且摆脱了对语言学知识的依赖,通用性更好。BiLSTM-CRF模型是经典的基于深度学习的命名实体识别方法。本文以其为基准模型对命名实体识别任务中的各个环节分析后发现:(1)传统的Word2vec词向量表示方式由于向量表示固定,导致模型无法解决由语义环境不同引起的一词多义问题;(2)编码层在对输入文本建模时未考虑重点字词对最终识别效果的影响,存在注意力分散的问题;(3)模型在特征提取时仅考虑到时序特征,对空间特征的提取能力不足。本文针对以上问题分别展开工作,主要内容如下:(1)针对传统嵌入层存在的向量表示固定问题,本文引入了 BERT预训练语言模型,利用大规模的文本语料对模型进行训练。相较于传统向量表示技术,BERT模型能够根据字词的上下文动态地调整其向量表示,使最终的向量表示能够恰当地反映字词在所属语言环境下的含义。另外,本文从BERT模型的网络层数量角度对其内在机理进行分析,发现其在解决NER任务时主要依赖从低层和中层学习到的短语及语法信息。(2)针对BiLSTM-CRF经典模型的编码层存在注意力分散问题,本文在BiLSTM层与CRF层之间引入了多头注意力层,利用多头自注意力在多个子空间中对输入序列的重要信息进行捕获。同时,为提高模型训练速度,本文使用参数更少,性能更好的BiGRU网络作为编码层,并结合BERT模型提出了改进的BERT-BiGRU-MHA-CRF模型,改进模型在人民日报和MSRA数据集上的F1值达到了 95.35%和94.46%。(3)针对BERT-BiGRU-MHA-CRF 模型对空间特征捕获能力不足的问题,本文又基于迭代膨胀卷积神经网络提出了擅长捕获空间特征的BERT-IDCNN-CRF模型。并利用集成学习的思想将两个模型进行融合,前后两个模型分别从时序和空间角度对输入序列的特征进行捕获,互为补充。集成模型在人民日报和MSRA数据集上的F1值比基准模型分别提高9.55%和8.69%,达到了 96.09%和95.01%。最后本文对提出的集成模型进行封装,通过WEB服务的方式设计了一个在线中文命名实体识别系统,实现了算法的落地应用。综上所述,本文提出的集成学习中文命名实体识别方法取得了较好的效果,后续工作可以将其扩展到垂直领域或细粒度的实体识别任务中。
基于深度学习的多语义特征中文命名实体识别研究
这是一篇关于中文命名实体识别,多语义特征,双向门控循环单元,训练成本的论文, 主要内容为随着互联网数据量的快速增长,从海量非结构化文本中高效、准确地提取有价值的信息已成为了一项紧迫的需求。命名实体识别作为自然语言处理领域中一项重要的基础任务,其主要目的是从文本中抽取具有实际意义的实体,例如人名、地名和组织机构等,它在关系抽取、信息检索和知识图谱等许多应用中都扮演着关键角色。由于中文文本不存在天然分割,基于词级别的方法会不可避免地引入分词错误,采用字级别的方法效果有所提升但也缺失了很多信息。因此,本文针对以上问题,基于领域内四个广泛使用的公开数据集展开实验,提出了一种多语义特征模型(Multi-Semantic Features Model,MSFM),具体工作如下:(1)针对输入表示层特征单一的问题,提出利用各类辅助资源作为额外特征来丰富输入表示。(1)基于字级别的方法不能充分利用词信息,故通过Soft Lexicon方法引入词信息,同时针对在小数据集上容易出现未登录词的问题,提出使用预训练词典来统计词频作为词信息融合的权重;(2)Bichar是当前字符和下一个字符的组合,通过Word2vec预训练得到其向量表示,将bichar向量与字符向量拼接起来,用bichar信息来丰富基于字符的模型;(3)针对Word2vec存在的“一词多义”问题,提出使用Ro BERTa预训练模型来获取每个字符包含上下文信息的动态向量,它采用双向Transformer提取上下文语义特征,能有效地提升下游任务的性能。(2)在命名实体识别任务中,LSTM相较于其他上下文编码器往往能取得更好的效果。但当输入表示的向量维度过高时,LSTM容易出现过拟合的问题。本文采用单层的双向门控循环单元(Bi-GRU)来构建序列建模层,与LSTM相比,它具有更少的参数和更快的拟合速度,能更好地捕获高维向量表示中的上下文依赖关系。(3)在输入表示层中加入多个特征信息可以有效地提升模型性能,为了防止过拟合问题,本文引入Dropout层进行正则化,更重要的是对Dropout的层数及在模型中的位置进行了大量的实验,寻找最佳的设置以进一步优化模型性能。同时,本文通过详细的消融研究评估了模型中每个组件的相对贡献。实验结果表明,本文提出的模型在性能和推理速度上均优于其他对比模型,并且具有结构通用、迁移性强的特点。此外,该模型具有较低的训练成本,适合于研究和工业应用。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计工坊 ，原文地址：https://bishedaima.com/lunwen/48731.html
