基于混合深度学习模型的城市交通流量预测
这是一篇关于智能交通,交通流预测,卷积神经网络,双向门控循环单元,图神经网络,残差连接,注意力机制的论文, 主要内容为近年来,随着城市化进程的加速推进,我国汽车保有量日益增长,给居民出行带来了便利。同时,交通拥堵、交通噪声、空气质量恶化等问题严重制约了城市的发展,成为全国各个城市普遍面临的难题。智能交通及各种现代技术的出现,为有效改善交通状况提供了新的思路。交通流预测作为智能交通系统的关键核心技术,已成为交通领域研究的热点。本文基于神经网络基础和图神经网络的理论与方法,建立了两种混合深度学习模型的交通流量预测,具体的研究内容包括以下两个方面:(1)针对交通流的非线性、时间动态性、空间相关性等特征,提出一种基于注意力机制的CNN-Bi GRU的交通流量预测模型。该模型中,卷积神经网络(CNN)用于捕获交通流量的空间相关特征。双向门控循环单元(Bi GRU)分别从前向和后向传播中都获取信息,充分提取交通流的时间相关特征。注意力机制的引入使得交通流最重要的特征可分配到最大程度的关注,从而更好的提升CNN网络和Bi GRU网络提取时空特征的能力,达到提升模型的预测精度的目的。在真实数据集上的对比实验和消融实验的结果都表明:基于注意力机制的CNN-Bi GRU的交通流预测模型在捕获时空相关性方面具有一定的优势,较其他的基线模型具有提高预测性能的优势。(2)针对交通流的空间动态性和多尺度时间相关性,提出一种基于时空注意力的Cheb Net和Bi GRU相结合的交通流量预测模型(STAM-CN-Bi GRU),该模型由多层时空残差模块组成。首先,利用Cheb Net学习路网拓扑引起的交通流的空间依赖性,并将Bi GRU与CNN相结合,获取交通流的多尺度时间相关性。然后,在交通流预测模型中引入混合时空注意模块,刻画每个节点的时空依赖关系的不同重要程度。把三个不同时间粒度的交通流量(临近序列、日周期序列、周周期序列)的预测结果进行加权融合,得到最终预测结果。最后,在真实数据集上,对所提模型的一步预测、多步预测的预测性能进行了广泛评估,并且与其他基线模型进行对比,结果表明,该模型较其他基线模型可以显著提高预测精度,特别是在多步预测方面优于其他模型。
集成学习命名实体识别算法的研究与实现
这是一篇关于命名实体识别,集成学习,BERT,双向门控循环单元,迭代膨胀卷积神经网络的论文, 主要内容为命名实体识别作为自然语言处理的一项基础工作,主要目的是识别出文本中包含的通用或垂直领域具有实际意义的实体。命名实体的准确识别可以促进机器翻译、推荐系统和知识图谱等上层任务的研究。传统的命名实体识别大多依赖领域专家构建的规则模板或统计特征,这种方式需要耗费大量的人力且模型的通用性较差。目前,绝大多数模型采用深度学习的方式完成命名实体识别任务,这类模型能够从海量文本数据中自动学习特征信息,并且摆脱了对语言学知识的依赖,通用性更好。BiLSTM-CRF模型是经典的基于深度学习的命名实体识别方法。本文以其为基准模型对命名实体识别任务中的各个环节分析后发现:(1)传统的Word2vec词向量表示方式由于向量表示固定,导致模型无法解决由语义环境不同引起的一词多义问题;(2)编码层在对输入文本建模时未考虑重点字词对最终识别效果的影响,存在注意力分散的问题;(3)模型在特征提取时仅考虑到时序特征,对空间特征的提取能力不足。本文针对以上问题分别展开工作,主要内容如下:(1)针对传统嵌入层存在的向量表示固定问题,本文引入了 BERT预训练语言模型,利用大规模的文本语料对模型进行训练。相较于传统向量表示技术,BERT模型能够根据字词的上下文动态地调整其向量表示,使最终的向量表示能够恰当地反映字词在所属语言环境下的含义。另外,本文从BERT模型的网络层数量角度对其内在机理进行分析,发现其在解决NER任务时主要依赖从低层和中层学习到的短语及语法信息。(2)针对BiLSTM-CRF经典模型的编码层存在注意力分散问题,本文在BiLSTM层与CRF层之间引入了多头注意力层,利用多头自注意力在多个子空间中对输入序列的重要信息进行捕获。同时,为提高模型训练速度,本文使用参数更少,性能更好的BiGRU网络作为编码层,并结合BERT模型提出了改进的BERT-BiGRU-MHA-CRF模型,改进模型在人民日报和MSRA数据集上的F1值达到了 95.35%和94.46%。(3)针对BERT-BiGRU-MHA-CRF 模型对空间特征捕获能力不足的问题,本文又基于迭代膨胀卷积神经网络提出了擅长捕获空间特征的BERT-IDCNN-CRF模型。并利用集成学习的思想将两个模型进行融合,前后两个模型分别从时序和空间角度对输入序列的特征进行捕获,互为补充。集成模型在人民日报和MSRA数据集上的F1值比基准模型分别提高9.55%和8.69%,达到了 96.09%和95.01%。最后本文对提出的集成模型进行封装,通过WEB服务的方式设计了一个在线中文命名实体识别系统,实现了算法的落地应用。综上所述,本文提出的集成学习中文命名实体识别方法取得了较好的效果,后续工作可以将其扩展到垂直领域或细粒度的实体识别任务中。
基于深度学习的多语义特征中文命名实体识别研究
这是一篇关于中文命名实体识别,多语义特征,双向门控循环单元,训练成本的论文, 主要内容为随着互联网数据量的快速增长,从海量非结构化文本中高效、准确地提取有价值的信息已成为了一项紧迫的需求。命名实体识别作为自然语言处理领域中一项重要的基础任务,其主要目的是从文本中抽取具有实际意义的实体,例如人名、地名和组织机构等,它在关系抽取、信息检索和知识图谱等许多应用中都扮演着关键角色。由于中文文本不存在天然分割,基于词级别的方法会不可避免地引入分词错误,采用字级别的方法效果有所提升但也缺失了很多信息。因此,本文针对以上问题,基于领域内四个广泛使用的公开数据集展开实验,提出了一种多语义特征模型(Multi-Semantic Features Model,MSFM),具体工作如下:(1)针对输入表示层特征单一的问题,提出利用各类辅助资源作为额外特征来丰富输入表示。(1)基于字级别的方法不能充分利用词信息,故通过Soft Lexicon方法引入词信息,同时针对在小数据集上容易出现未登录词的问题,提出使用预训练词典来统计词频作为词信息融合的权重;(2)Bichar是当前字符和下一个字符的组合,通过Word2vec预训练得到其向量表示,将bichar向量与字符向量拼接起来,用bichar信息来丰富基于字符的模型;(3)针对Word2vec存在的“一词多义”问题,提出使用Ro BERTa预训练模型来获取每个字符包含上下文信息的动态向量,它采用双向Transformer提取上下文语义特征,能有效地提升下游任务的性能。(2)在命名实体识别任务中,LSTM相较于其他上下文编码器往往能取得更好的效果。但当输入表示的向量维度过高时,LSTM容易出现过拟合的问题。本文采用单层的双向门控循环单元(Bi-GRU)来构建序列建模层,与LSTM相比,它具有更少的参数和更快的拟合速度,能更好地捕获高维向量表示中的上下文依赖关系。(3)在输入表示层中加入多个特征信息可以有效地提升模型性能,为了防止过拟合问题,本文引入Dropout层进行正则化,更重要的是对Dropout的层数及在模型中的位置进行了大量的实验,寻找最佳的设置以进一步优化模型性能。同时,本文通过详细的消融研究评估了模型中每个组件的相对贡献。实验结果表明,本文提出的模型在性能和推理速度上均优于其他对比模型,并且具有结构通用、迁移性强的特点。此外,该模型具有较低的训练成本,适合于研究和工业应用。
集成学习命名实体识别算法的研究与实现
这是一篇关于命名实体识别,集成学习,BERT,双向门控循环单元,迭代膨胀卷积神经网络的论文, 主要内容为命名实体识别作为自然语言处理的一项基础工作,主要目的是识别出文本中包含的通用或垂直领域具有实际意义的实体。命名实体的准确识别可以促进机器翻译、推荐系统和知识图谱等上层任务的研究。传统的命名实体识别大多依赖领域专家构建的规则模板或统计特征,这种方式需要耗费大量的人力且模型的通用性较差。目前,绝大多数模型采用深度学习的方式完成命名实体识别任务,这类模型能够从海量文本数据中自动学习特征信息,并且摆脱了对语言学知识的依赖,通用性更好。BiLSTM-CRF模型是经典的基于深度学习的命名实体识别方法。本文以其为基准模型对命名实体识别任务中的各个环节分析后发现:(1)传统的Word2vec词向量表示方式由于向量表示固定,导致模型无法解决由语义环境不同引起的一词多义问题;(2)编码层在对输入文本建模时未考虑重点字词对最终识别效果的影响,存在注意力分散的问题;(3)模型在特征提取时仅考虑到时序特征,对空间特征的提取能力不足。本文针对以上问题分别展开工作,主要内容如下:(1)针对传统嵌入层存在的向量表示固定问题,本文引入了 BERT预训练语言模型,利用大规模的文本语料对模型进行训练。相较于传统向量表示技术,BERT模型能够根据字词的上下文动态地调整其向量表示,使最终的向量表示能够恰当地反映字词在所属语言环境下的含义。另外,本文从BERT模型的网络层数量角度对其内在机理进行分析,发现其在解决NER任务时主要依赖从低层和中层学习到的短语及语法信息。(2)针对BiLSTM-CRF经典模型的编码层存在注意力分散问题,本文在BiLSTM层与CRF层之间引入了多头注意力层,利用多头自注意力在多个子空间中对输入序列的重要信息进行捕获。同时,为提高模型训练速度,本文使用参数更少,性能更好的BiGRU网络作为编码层,并结合BERT模型提出了改进的BERT-BiGRU-MHA-CRF模型,改进模型在人民日报和MSRA数据集上的F1值达到了 95.35%和94.46%。(3)针对BERT-BiGRU-MHA-CRF 模型对空间特征捕获能力不足的问题,本文又基于迭代膨胀卷积神经网络提出了擅长捕获空间特征的BERT-IDCNN-CRF模型。并利用集成学习的思想将两个模型进行融合,前后两个模型分别从时序和空间角度对输入序列的特征进行捕获,互为补充。集成模型在人民日报和MSRA数据集上的F1值比基准模型分别提高9.55%和8.69%,达到了 96.09%和95.01%。最后本文对提出的集成模型进行封装,通过WEB服务的方式设计了一个在线中文命名实体识别系统,实现了算法的落地应用。综上所述,本文提出的集成学习中文命名实体识别方法取得了较好的效果,后续工作可以将其扩展到垂直领域或细粒度的实体识别任务中。
集成学习命名实体识别算法的研究与实现
这是一篇关于命名实体识别,集成学习,BERT,双向门控循环单元,迭代膨胀卷积神经网络的论文, 主要内容为命名实体识别作为自然语言处理的一项基础工作,主要目的是识别出文本中包含的通用或垂直领域具有实际意义的实体。命名实体的准确识别可以促进机器翻译、推荐系统和知识图谱等上层任务的研究。传统的命名实体识别大多依赖领域专家构建的规则模板或统计特征,这种方式需要耗费大量的人力且模型的通用性较差。目前,绝大多数模型采用深度学习的方式完成命名实体识别任务,这类模型能够从海量文本数据中自动学习特征信息,并且摆脱了对语言学知识的依赖,通用性更好。BiLSTM-CRF模型是经典的基于深度学习的命名实体识别方法。本文以其为基准模型对命名实体识别任务中的各个环节分析后发现:(1)传统的Word2vec词向量表示方式由于向量表示固定,导致模型无法解决由语义环境不同引起的一词多义问题;(2)编码层在对输入文本建模时未考虑重点字词对最终识别效果的影响,存在注意力分散的问题;(3)模型在特征提取时仅考虑到时序特征,对空间特征的提取能力不足。本文针对以上问题分别展开工作,主要内容如下:(1)针对传统嵌入层存在的向量表示固定问题,本文引入了 BERT预训练语言模型,利用大规模的文本语料对模型进行训练。相较于传统向量表示技术,BERT模型能够根据字词的上下文动态地调整其向量表示,使最终的向量表示能够恰当地反映字词在所属语言环境下的含义。另外,本文从BERT模型的网络层数量角度对其内在机理进行分析,发现其在解决NER任务时主要依赖从低层和中层学习到的短语及语法信息。(2)针对BiLSTM-CRF经典模型的编码层存在注意力分散问题,本文在BiLSTM层与CRF层之间引入了多头注意力层,利用多头自注意力在多个子空间中对输入序列的重要信息进行捕获。同时,为提高模型训练速度,本文使用参数更少,性能更好的BiGRU网络作为编码层,并结合BERT模型提出了改进的BERT-BiGRU-MHA-CRF模型,改进模型在人民日报和MSRA数据集上的F1值达到了 95.35%和94.46%。(3)针对BERT-BiGRU-MHA-CRF 模型对空间特征捕获能力不足的问题,本文又基于迭代膨胀卷积神经网络提出了擅长捕获空间特征的BERT-IDCNN-CRF模型。并利用集成学习的思想将两个模型进行融合,前后两个模型分别从时序和空间角度对输入序列的特征进行捕获,互为补充。集成模型在人民日报和MSRA数据集上的F1值比基准模型分别提高9.55%和8.69%,达到了 96.09%和95.01%。最后本文对提出的集成模型进行封装,通过WEB服务的方式设计了一个在线中文命名实体识别系统,实现了算法的落地应用。综上所述,本文提出的集成学习中文命名实体识别方法取得了较好的效果,后续工作可以将其扩展到垂直领域或细粒度的实体识别任务中。
集成学习命名实体识别算法的研究与实现
这是一篇关于命名实体识别,集成学习,BERT,双向门控循环单元,迭代膨胀卷积神经网络的论文, 主要内容为命名实体识别作为自然语言处理的一项基础工作,主要目的是识别出文本中包含的通用或垂直领域具有实际意义的实体。命名实体的准确识别可以促进机器翻译、推荐系统和知识图谱等上层任务的研究。传统的命名实体识别大多依赖领域专家构建的规则模板或统计特征,这种方式需要耗费大量的人力且模型的通用性较差。目前,绝大多数模型采用深度学习的方式完成命名实体识别任务,这类模型能够从海量文本数据中自动学习特征信息,并且摆脱了对语言学知识的依赖,通用性更好。BiLSTM-CRF模型是经典的基于深度学习的命名实体识别方法。本文以其为基准模型对命名实体识别任务中的各个环节分析后发现:(1)传统的Word2vec词向量表示方式由于向量表示固定,导致模型无法解决由语义环境不同引起的一词多义问题;(2)编码层在对输入文本建模时未考虑重点字词对最终识别效果的影响,存在注意力分散的问题;(3)模型在特征提取时仅考虑到时序特征,对空间特征的提取能力不足。本文针对以上问题分别展开工作,主要内容如下:(1)针对传统嵌入层存在的向量表示固定问题,本文引入了 BERT预训练语言模型,利用大规模的文本语料对模型进行训练。相较于传统向量表示技术,BERT模型能够根据字词的上下文动态地调整其向量表示,使最终的向量表示能够恰当地反映字词在所属语言环境下的含义。另外,本文从BERT模型的网络层数量角度对其内在机理进行分析,发现其在解决NER任务时主要依赖从低层和中层学习到的短语及语法信息。(2)针对BiLSTM-CRF经典模型的编码层存在注意力分散问题,本文在BiLSTM层与CRF层之间引入了多头注意力层,利用多头自注意力在多个子空间中对输入序列的重要信息进行捕获。同时,为提高模型训练速度,本文使用参数更少,性能更好的BiGRU网络作为编码层,并结合BERT模型提出了改进的BERT-BiGRU-MHA-CRF模型,改进模型在人民日报和MSRA数据集上的F1值达到了 95.35%和94.46%。(3)针对BERT-BiGRU-MHA-CRF 模型对空间特征捕获能力不足的问题,本文又基于迭代膨胀卷积神经网络提出了擅长捕获空间特征的BERT-IDCNN-CRF模型。并利用集成学习的思想将两个模型进行融合,前后两个模型分别从时序和空间角度对输入序列的特征进行捕获,互为补充。集成模型在人民日报和MSRA数据集上的F1值比基准模型分别提高9.55%和8.69%,达到了 96.09%和95.01%。最后本文对提出的集成模型进行封装,通过WEB服务的方式设计了一个在线中文命名实体识别系统,实现了算法的落地应用。综上所述,本文提出的集成学习中文命名实体识别方法取得了较好的效果,后续工作可以将其扩展到垂直领域或细粒度的实体识别任务中。
基于深度学习的风电设备故障诊断与分析系统
这是一篇关于故障诊断,深度学习,双向门控循环单元,卷积神经网络,Spark的论文, 主要内容为风能作为一种新能源,其优势在于它是干净、无污染、可再生的绿色能源,风能解决了传统燃油带来的污染问题,并且蕴藏丰富、成本低廉,风能的这些优势带来的经济效益和社会效益促进了风能的开发和利用,但是在相关设备的制造、维修方面技术还并不成熟。目前的风电机组故障排查方法包括模型诊断、知识诊断、机器学习等,都存在难以建立精确的模型、特征提取能力一般、精度低、依赖大量历史数据等问题,无法及时有效地识别风机故障,导致维护和修理成本大幅度提升。本文针对以上问题,提出并实现了一种高性能的风机设备管理及故障诊断系统。本文的主要工作和成果如下:首先,由于风机数据采集系统是通过接口定期将采集器收集的原始数据包传输到服务器,所以本文设计并实现一种高效的原始数据解析转换的方法,将原始数据包中的信息解析转换后,提取特征值并存入数据库中。然后,针对现有风机故障诊断方法建模困难、特征提取能力一般、泛化能力差、先验知识较少、精度低的问题,提出了一种高性能的基于双向门控循环单元与一维卷积神经网络的混合神经网络故障诊断方法。利用随机排序的历史数据训练一维卷积神经网络,提取故障的局部特征;将其输出作为双向门控循环单元的输入,利用双向门控循环单元能同时获得正向和反向累积依赖信息的特性,进一步提取序列的长期依赖特征;最后将双向门控循环单元的输出输入到全连接层进行分类。实验结果表明,与业内主流故障诊断方法相比,本文提出的方法1D-CNN＿Bi-GRU具有更高的分类精度,并对小样本问题具有很好的鲁棒性,其在真实数据集上表现出优秀的性能及泛化能力,诊断精度达到90%以上。最后,本文在上述研究成果的基础上,将大规模数据处理的通用计算引擎Spark与当前主流Web应用框架Spring Boot、My Batis框架相结合,实现了从数据监测到故障诊断的完整过程,完成了一种高效、高性能的风机状态监控及故障诊断系统,为运维人员提供了技术支持,从而节省了维护成本。本文的实现对保证风机正常运行、尽早排查故障、减少设备维修成本具有重要的研究价值与现实意义。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码项目助手 ，原文地址：https://bishedaima.com/lunwen/54591.html
