基于多源数据的联合表征学习及其管理应用
这是一篇关于多源数据,数据融合,数据迁移,深度学习的论文, 主要内容为多源数据广泛地存在于当今社会,它既包括由不同实体产生的数据,如用户生成内容、企业生成内容等;也包括由不同数据生成器生成的不同形态的数据,如图片、音频、文本等;还包括来自不同领域的数据,如电商平台中美妆、家居、电子产品等各式各样的类别。多源数据可以为我们提供更全面的视角,以帮助我们得到更好地预测并更好解决管理问题。同时,由于其能避免数据遗漏、误差等问题,它让我们的预测更加稳健。但多源数据也同样给我们带来了挑战。多源数据使得我们对数据的收集、探索和利用耗时耗力。同时,多源数据在给存储、计算等带来更大负担的同时,无法保证其能够带来更好的效果以及为管理情境产生更高的价值,甚至可能带来负效应。因此本文的研究问题就是:如何去设计一个处理多源数据的框架来解决以上的挑战?为此我们提出了一个多源数据学习的框架。在框架中,我们将多源数据学习分为多源数据融合与多源数据迁移两种类型,也就是我们将分别从这两种类型来解决以上的挑战。多源数据融合用以解决多个信息源的融合问题。其相关的传统方法采取联合表征、协同表征等方法,模型难以找到高维度、复杂数据之间的联系。此外不同的任务场景所需要的联系也各不相同,如何为不同的任务去筛选不同的联系也是一个重要的挑战。因此我们提出了基于编码器-解码器与注意力机制的模型来解决多源数据融合的问题。本文提出的多源数据融合模型通过数据源之间相互生成的方式来有效学习不同数据源之间的联系,同时利用注意力机制并通过任务监督来筛选与任务相关的联系,从而显著提升了模型表征和预测的能力。接着我们在商业角色预测的管理场景证明了我们模型解决多源数据融合上的优越性与有效性。同时我们有效解决了中小型外贸企业通过搜索引擎搜索产品相关合作商的管理问题。多源数据迁移用于解决不同数据源之间的信息迁移。传统方法存在一个问题是,尽管一些模型能够学习不同数据源的共有特征,来获得一些较好的泛化能力,但是他们往往忽略了数据源的内部特征,使得模型在新的数据源上的表现较大幅度地下降。为此本文提出的了基于对抗机制与图注意力网络的模型来解决多源数据迁移的问题。本文提出的多源数据迁移模型通过对抗博弈学习到不同数据源的共有特征从而获得较强的迁移能力。同时模型通过图注意力网络学习数据源内部的特有特征以进一步提升模型的表现。接着我们在假新闻识别的管理场景中证明了该模型解决集合式多源数据迁移的优越性和有效性,同时我们的工作也有效解决了假新闻识别的管理问题。最后我们在推荐系统的管理场景中证明了该模型解决分布式多源数据源迁移的优越性和有效性,同时我们的工作也推进了推荐系统的相关研究。
基于深度学习U-Net模型的高分辨率遥感影像分类方法研究
这是一篇关于深度学习,U-Net,影像分类,多源数据,全连接CRFs的论文, 主要内容为高分辨率遥感影像记录了地物目标详细的形状、几何结构、纹理等特征信息,广泛应用于遥感制图、精确农业、城市规划等领域,然而高分辨率遥感影像在提供高质量信息的同时,其类内差异大、光谱信息相对欠缺的特点也为高效、准确地进行遥感影像分类提出了新的挑战。一方面,高分辨率影像展现了高度细节化的信息,降低了目标类间差异却增大了类内差异;另一方面,高分辨率遥感影像的数据波段有限,光谱信息丰富度不足,增大了遥感影像分类的难度。因此如何实现高分辨率遥感影像的高效且准确地分类是急需解决的重要问题。目前,在传统的高分辨率遥感影像分类方法中,最常用的是基于面向对象分类理论和机器学习算法进行分类,然而它需要人工参与分割参数选择和对象特征选取,过程耗时耗力,且机器学习中的浅层结构模型难以得到更好的分类效果。深度学习是近几年图像识别领域的一门新兴技术,能够自动学习影像深层次特征从而进行准确的分类决策,为得到更好的高分辨率遥感影像分类结果带来新的契机。本文研究了深度学习中的U-Net模型进行高分辨率遥感影像分类的方法,但目前的研究没有充分考虑多源数据对分类精度的影响,容易造成因光谱信息不丰富而产生的分类精度低的问题,同时分类后的影像存在细小错分现象、地物边界平滑的问题。针对上述问题,本文开展了以下工作:(1)围绕高分辨率遥感影像分类的主题,系统查阅了国内外相关研究进展,分析归纳了目前国内外的高分辨率遥感影像分类方法,阐述了利用深度学习方法实现遥感影像准确、高效分类的优势。(2)针对高分辨率遥感影像数据波段较少、模型特征学习丰富度有限的问题,研究将DSM、NDVI、nDSM等多源数据与原始影像的结合,参与深度学习U-Net模型的影像分类过程,并找到对提升分类精度最有效的多源数据组合;(3)针对分类影像存在细小错分现象、地物边界平滑的问题,引入全连接CRFs方法进行遥感影像后处理,利用网格参数搜索法得到全连接CRFs的最优参数,达到最佳后处理效果;(4)对比分析本文方法与传统基于面向对象的机器学习分类方法、全卷积神经网络FCN-8s模型在高分辨率遥感影像分类实验的结果,验证本文方法的有效性研究表明:nDSM影像数据对U-Net模型分类精度影响最显著,其包含的地物高程信息能够显著提高不透水地面、建筑物、低矮植被的分类精度;全连接CRFs能够消除影像中细小的错分现象,同时得到更加细致的地物边界;本文的研究结果对提高高分辨率遥感影像分类精度具有一定的参考价值。
高校学生信用评价系统关键技术研究
这是一篇关于信用评价,数据融合,多源数据,D-S证据理论的论文, 主要内容为高校学生的信用评价和诚信水平是社会信用体系建设的重要组成部分,也是学校开展诚信教育及评价的重要内容。由于高校学生具有无稳定收入、学历较高、信用数据来源多样等特点,与借贷个人信用评价指标体系具有较大差异。本文针对高校学生在校学习、生活数据及个人社交数据,在已有信用评价指标的基础上,对高校学生的信用数据融合、信用评价指标体系、评价模型等技术进行了研究,并研制了相应系统。主要工作如下:1.针对高校学生信用数据来源于学工系统、教务处、图书馆、财务处等多个系统,存在数据结构多样、重复、冲突、缺失等问题,利用改进D-S证据理论算法和知识图谱中的知识融合相关技术,解决具有时间属性的数据冲突问题,并实现了高校学生的多源信用数据的融合。2.针对高校学生信用数据的特点,利用学生在校的基本身份信息、图书馆借阅记录、奖惩记录、学费缴纳记录、一卡通消费记录、社交数据等信用数据,同时考虑到信用状况的动态变化性,以及高校学期学年的周期性,构建了针对高校学生的信用评价指标体系,并建立相应的信用评分模型。3.针对高校对学生信用评价的需求,实现了高校学生信用评价系统。该系统由信用数据采集与融合、信用评分、信用查询三个子系统组成。信用数据采集与融合系统采用Python及Scrapy技术实现,具有学生信用数据采集、融合及存储功能;信用评分系统由Python、Shell脚本技术实现,利用融合后的信用数据进行信用评分;信用查询系统由Java和Ant-Design组件实现,提供信用评分查询、奖惩数据导入等功能。整个系统为高校提供学生信用评价及信用管理服务。经过功能和性能测试,系统提供了13个功能模块,能及时准确的采集学生信用数据,定期更新信用评分,百万条数据的系统响应时间小于3s。
基于深度学习U-Net模型的高分辨率遥感影像分类方法研究
这是一篇关于深度学习,U-Net,影像分类,多源数据,全连接CRFs的论文, 主要内容为高分辨率遥感影像记录了地物目标详细的形状、几何结构、纹理等特征信息,广泛应用于遥感制图、精确农业、城市规划等领域,然而高分辨率遥感影像在提供高质量信息的同时,其类内差异大、光谱信息相对欠缺的特点也为高效、准确地进行遥感影像分类提出了新的挑战。一方面,高分辨率影像展现了高度细节化的信息,降低了目标类间差异却增大了类内差异;另一方面,高分辨率遥感影像的数据波段有限,光谱信息丰富度不足,增大了遥感影像分类的难度。因此如何实现高分辨率遥感影像的高效且准确地分类是急需解决的重要问题。目前,在传统的高分辨率遥感影像分类方法中,最常用的是基于面向对象分类理论和机器学习算法进行分类,然而它需要人工参与分割参数选择和对象特征选取,过程耗时耗力,且机器学习中的浅层结构模型难以得到更好的分类效果。深度学习是近几年图像识别领域的一门新兴技术,能够自动学习影像深层次特征从而进行准确的分类决策,为得到更好的高分辨率遥感影像分类结果带来新的契机。本文研究了深度学习中的U-Net模型进行高分辨率遥感影像分类的方法,但目前的研究没有充分考虑多源数据对分类精度的影响,容易造成因光谱信息不丰富而产生的分类精度低的问题,同时分类后的影像存在细小错分现象、地物边界平滑的问题。针对上述问题,本文开展了以下工作:(1)围绕高分辨率遥感影像分类的主题,系统查阅了国内外相关研究进展,分析归纳了目前国内外的高分辨率遥感影像分类方法,阐述了利用深度学习方法实现遥感影像准确、高效分类的优势。(2)针对高分辨率遥感影像数据波段较少、模型特征学习丰富度有限的问题,研究将DSM、NDVI、nDSM等多源数据与原始影像的结合,参与深度学习U-Net模型的影像分类过程,并找到对提升分类精度最有效的多源数据组合;(3)针对分类影像存在细小错分现象、地物边界平滑的问题,引入全连接CRFs方法进行遥感影像后处理,利用网格参数搜索法得到全连接CRFs的最优参数,达到最佳后处理效果;(4)对比分析本文方法与传统基于面向对象的机器学习分类方法、全卷积神经网络FCN-8s模型在高分辨率遥感影像分类实验的结果,验证本文方法的有效性研究表明:nDSM影像数据对U-Net模型分类精度影响最显著,其包含的地物高程信息能够显著提高不透水地面、建筑物、低矮植被的分类精度;全连接CRFs能够消除影像中细小的错分现象,同时得到更加细致的地物边界;本文的研究结果对提高高分辨率遥感影像分类精度具有一定的参考价值。
面向知识图谱的多源数据图表征及检索优化方法研究
这是一篇关于表征优化,知识图谱,多源数据的论文, 主要内容为知识图谱生成中所使用的数据存在来源不同、类型多样、利用率低等特征,这些特征易造成多源数据难表征问题和知识图谱检索效率低问题。针对上述问题,迫切需要多源异构数据有效表征及检索优化方法。本文面向多源异构文本数据表征及检索优化方法展开研究,主要工作如下:第一、本文通过研究多源数据、知识图谱和图检索技术,探究三者间的关联,揭示了知识图谱中的多源数据图表征问题以及图表征下多源数据快速检索问题,并就相关问题的国内外研究现状展开调查与分析。第二、基于上述问题与内容,本文提出了两种图表征方法,一种为基于马尔科夫决策过程的二分图表征法,该方法基于马尔科夫决策过程和二分图概念提炼并表征多源数据中的数据关系,实现多源数据的融合表征,但该方法存在检索效率低的问题。基于此本文提出了第二种表征方法——基于图相似性度量的二部二分图表征方法,该方法使用最佳决策算法与图相似性度量算法,在第一种方法的基础上,提炼原二分图中的top-k结构形成top-k二分图,并与原二分图形成二部二分图结构。该结构中top-k二分图能够缩小检索范围,提高检索效率,二部二分图结构能实现图的动态演进。第三、本文分别使用问卷型医疗数据和电子病历型医疗数据对两种方法进行实验验证和性能评估。评估结果表明,与传统向量表征方法相比,本文中的二分图表征方法具有更优的可解释性和表征效果;与二分图表征方法相比,二部二分图表征方法构建时间平均减少65.8%,内存消耗平均减少50.2%,匹配时间平均减少53.4%。二部二分图结构动态演进后,检索准确率平均提高8%。
基于多源遥感数据的森林树种分类研究
这是一篇关于树种分类,特征优选,集成学习,多源数据,影像融合的论文, 主要内容为森林作为陆地生态系统的主体,不仅在保持生物多样性、调节全球气候、维持生态平衡以及全球碳水循环等方面均起着至关重要的作用,而且对人类社会、经济和环境的永久循环利用具有不可替代的作用。为了科学、合理经营管理森林资源,了解和掌握森林资源的种类、数量和空间分布等信息是必不可少,而基于卫星遥感影像的森林树种自动识别可以快速获取这些信息。因此,利用经济的卫星遥感数据及其他辅助数据,建立适用于大区域的森林分类系统,进而获得高空间分辨率的森林树种类型分类图至关重要。本文以广西柳州市及鹿寨县为研究区,Sentinel-2与ZY1-02D遥感影像为数据源,首先基于多光谱遥感影像进行森林树种分类研究,构建了多特征组合方案、特征因子提取及不同分类模型,并对不同特征和机器模型对树种分类精度影响评价,确定了适合树种分类的辅助数据特征因子;其次,基于高光谱遥感影像进行森林树种分类研究,基于不同高光谱降维方法对高光谱波段降维,并基于不同集成学习模型进行森林树种分类,评价了不同降维方法的性能及不同集成学习方法的分类性能;最后,将分类最优结果的高光谱数据集、多光谱影像与全色影像图基于不同方法像元融合提高影像分辨率,并与适合树种分类的辅助数据融合进行森林树种分类,通过不同研究方案对比,以生成最佳研究区的森林树种分类空间分布图。主要结论如下:(1)Sentinel-2图像与辅助数据的结合应用可以提高森林树种的分类精度,在16个特征组合模型中,基于特征优选的模型分类精度最高,最高总体精度为82.69%。从Sentinel-2图像中提取的光谱反射率和光谱指数可用于森林树种分类,但纹理特征的价值有限,甚至可能为负。辅助数据,特别是地形特征、紫外线气溶胶指数、物候特征、NO2浓度特征、地形多样性特征、降水特征、温度特征和多尺度地形位置指数等特征,对提高森林树种分类的准确性具有重要作用。使用RF、GTB、SVM和CART算法对Sentinel-2图像森林树种分类,RF算法的分类准确率最高,总体准确率为82.69%,kappa系数为0.80,总体准确率分别比GTB、SVM和CART高0.14%、11.02%和11.70%。(2)采用不同高光谱特征降维方法对高光谱影像降维,并结合集成学习算法通过不同方案进行树种分类,方案最高总体精度达84%。使用PCA、ICA、BS-Net-FC和BS-Net-CONV四种方法对ZY1-02D高光谱影像特征降维得到相应数据集,BS-NetCONV方法得到的数据集总体上分类精度较高,得到的波段更适用于树种的分类,其次PCA、ICA和BS-Net-FC方法得到的数据集最高分类精度也能达到80%以上,表明了这些方法应用于国产卫星高光谱数据特征降维是可行的。另外使用Bagging、Boosting、Stacking和Voting四种集成算法对降维数据集进行森林树种分类,Voting算法的分类准确率整体最高,最高的总体精度为84%。用最高总体精度对比,分别比Bagging、Boosting和Stacking高1%、2%和2%。(3)通过不同影像融合方法融合影像提高影像分辨率,并对比不同多源数据融合的分类方案研究,最优树种分类方案的总体精度达到85.93%。使用GS、NND和PC融合方法对ZY1-02D优选波段高光谱影像、多光谱影像与全色米级空间分辨率影像的融合对比研究,其中GS融合方法的融合影像质量综合评价结果比较好,图像清晰度较高,能更好的保留原影像的特征。通过多光谱、优选高光谱影像以及它们各自融合影像的不同分类方案对比研究,结果显示高光谱与全色GS融合+辅助数据的方案分类总体精度最高,为85.93%,Kappa系数为0.84,相较于未加入辅助数据前总体精度提升了5.55%,Kappa系数提高了0.08。
基于多种数据源的在线评论知识图谱构建
这是一篇关于在线评论,知识图谱,意见挖掘,多源数据,数据融合的论文, 主要内容为随着Web2.0的出现,互联网用户积极地产生大量信息并与他人分享的开放互联网时代开始了。随着网络购物的普及,各种电子商务网站上的产品和用户评论数据呈指数级增长。用户通过发表在线评论实现自身信息分享的需要,同时通过评论表达自己对购物的体验和对商品的感受,为其他的用户做出购买决策提供支持,企业也能从这些用户发表的信息中挖掘出用户的需求,进而改进产品和服务。但是,大量的数据造成了信息过载的问题,互联网上大量的在线评论质量良莠不齐,极大影响了用户购买决策的参考依据和企业识别用户需求,因此如何有效的组织大量的非结构化产品和评论信息,并对信息进行深度的挖掘和管理,成为近年来的研究热点。在线评论以半结构化或非结构化数据的形式呈现,如文本、数字、图像等,然而,这些信息分散在互联网上的多个数据源中,涉及到产品和服务的各个方面,无论是用户、商家还是生产厂商都很难在多种数据源中高效的查找自己所需要的信息,并将信息进行深入的分析。因此,对多源异构的评论数据进行融合的基础上,有效的组织大量的非结构化产品和评论信息,并对信息进行深度的挖掘和管理,为用户提供更高质量的信息服务,成为目前亟待解决的问题。2012年谷歌提出的知识图谱(Knowledge Graph)让智能搜索成为可能,知识图谱是一种非常有效的信息组织方式。知识图谱可以将结构化的商品信息和非结构化的评论信息相融合,实现智能化和自动化应用,同时知识图谱的模式层可以提供一种高效的数据管理模式,经过处理后的数据不再是碎片化和冗余的,完美的解决信息过载的问题。因此,本文采用知识图谱构建技术,提出了一种融合多源异构评论信息的知识图谱构建框架,将多源异构的在线评论进行组织和挖掘,丰富支持用户购买决策、挖掘用户需求数据源,为用户提供更高质量的信息服务,解决信息过载的问题。首先,根据在线评论目前的研究现状,对用户信息需求进行分析,包括消费者、电商平台以及生产者,分析不同的用户信息需求,为后续的模式层构建打下基础;然后,根据需求分析的结果并参考己有的知识图谱构建技术,设计并实现了在线评论知识图谱构建方案,包括模式层、数据层以及存储三个阶段的详细过程。最后,本文基于以上研究成果,设计并实现了一个多源数据融合的手机商品评论知识图谱,并在此基础上进行评论知识图谱的展示、语义检索及数据挖掘。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码工厂 ，原文地址：https://bishedaima.com/lunwen/46626.html
