矿山设备领域主题爬虫的设计与实现
这是一篇关于主题爬虫,向量空间模型,URL价值评价,主题相关性,矿山设备的论文, 主要内容为随着社会和互联网技术的飞速发展，人们获取信息的途径逐渐由传统的方式向互联网中的搜索引擎过渡。在浩瀚如海的网络信息中，人们开始关注能够快速获取准确有效的特定信息的主题搜索引擎。主题搜索是面对某一个特定的行业的搜索引擎，主题搜索引擎中主题爬虫是其重要的组成部分，主题爬虫爬取信息效率以及信息的准确性的好与不好都会影响到搜索结果的质量。一个优质的主题爬虫可以快速准确的爬取互联网中的有效信息，本文以主题爬虫为对象，对其相关技术做出了分析和研究，目的在于建立一个矿山设备领域的主题爬虫系统。 本文介绍了搜索引擎的结构原理和发展、网络爬虫的搜索策略和工作原理等，以网络爬虫的工作流程为脉路对主题网络爬虫重点技术做了研究和分析，包括对基于关键字主题表示方法进行详细设计说明；对网页消噪和网页去重的方法进行分类研究；并对系统中关键技术点页面信息提取中的链接提取和内容提取进行了研究和设计；总结了三种分词方法的优缺点；计算文本相似度的方法重点介绍了向量空间模型和PageRank算法，向量空间模型的计算中涉及到权重的计算和特征选取。 文中可体现出矿山设备领域主题爬虫系统实现的全过程，通过分析研究主题爬虫的理论知识，对爬虫系统进行流程和结构设计，根据系统设计需求选择初始URL，并设计了该系统的数据库等。在系统相关性计算的算法中引入经典的向量空间模型算法，以此提高系统精确性能。系统实现中还介绍了该系统实现的相关细节，并展示了系统运行时的相关界面。最终实现了矿山设备领域主题爬虫系统。
矿山设备领域主题爬虫的设计与实现
这是一篇关于主题爬虫,向量空间模型,URL价值评价,主题相关性,矿山设备的论文, 主要内容为随着社会和互联网技术的飞速发展，人们获取信息的途径逐渐由传统的方式向互联网中的搜索引擎过渡。在浩瀚如海的网络信息中，人们开始关注能够快速获取准确有效的特定信息的主题搜索引擎。主题搜索是面对某一个特定的行业的搜索引擎，主题搜索引擎中主题爬虫是其重要的组成部分，主题爬虫爬取信息效率以及信息的准确性的好与不好都会影响到搜索结果的质量。一个优质的主题爬虫可以快速准确的爬取互联网中的有效信息，本文以主题爬虫为对象，对其相关技术做出了分析和研究，目的在于建立一个矿山设备领域的主题爬虫系统。 本文介绍了搜索引擎的结构原理和发展、网络爬虫的搜索策略和工作原理等，以网络爬虫的工作流程为脉路对主题网络爬虫重点技术做了研究和分析，包括对基于关键字主题表示方法进行详细设计说明；对网页消噪和网页去重的方法进行分类研究；并对系统中关键技术点页面信息提取中的链接提取和内容提取进行了研究和设计；总结了三种分词方法的优缺点；计算文本相似度的方法重点介绍了向量空间模型和PageRank算法，向量空间模型的计算中涉及到权重的计算和特征选取。 文中可体现出矿山设备领域主题爬虫系统实现的全过程，通过分析研究主题爬虫的理论知识，对爬虫系统进行流程和结构设计，根据系统设计需求选择初始URL，并设计了该系统的数据库等。在系统相关性计算的算法中引入经典的向量空间模型算法，以此提高系统精确性能。系统实现中还介绍了该系统实现的相关细节，并展示了系统运行时的相关界面。最终实现了矿山设备领域主题爬虫系统。
基于主题爬虫的食物营养科普信息监测系统研究
这是一篇关于食物营养,主题爬虫,数据分析,舆情监测的论文, 主要内容为现阶段,公众对于食品营养缺乏应有重视,营养宣传教育必不可少。近几年政府对于食品营养科普这方面关注也越来越多,而且随着互联网技术的快速发展和广泛应用,食物营养的科普信息在网络媒体上的宣传形式变的很多,但是质量参差不齐。由于公众对于此类信息的认知匮乏,导致此类网络舆情也逐渐传播,对社会产生不良影响。因此对于食物营养科普信息的进一步监测管理十分重要,根据食物营养科普信息需要进行监测这一需求,本文设计并实现了基于主题爬虫的食物营养科普信息监测系统,开展食物营养科普信息监测,实现正确引导、科学处置,保障公众的营养健康安全。在对网络舆情分析系统主要技术研究的基础上,针对此类信息的实际需求,本文开展了以下几方面的工作:1.针对食物营养科普信息传播的广泛性以及缺少监管性等特点来进行需求分析,根据功能性和非功能性需求分析的结果,设计出了本系统详细的架构体系。按照层次化来进行构建,主要分为三层,分别为食物营养科普信息数据采集层,核心服务层(包含食物营养数据预处理以及相关算法实现),功能展示层(展示食物营养科普信息数据分析结果,包括舆情动态,舆情属性等功能)。根据系统架构的设计完成了食物营养科普信息的数据采集,核心服务,功能展示等模块的设计,并完成了相应的食物营养科普信息数据库设计,包括爬取信息表、数据来源信息表等数据库表。2.对于食物营养科普信息监测系统主要功能的实现,需要进行相关技术与算法的研究与实现,主要包括:数据采集技术,文本聚类、文本分类、情感分析等算法。首先需要获取食物营养科普信息领域数据,用主题爬虫来获取,主题爬虫的数据来源是舆情高发的网站,本系统主要是:微博,微信公众号,百度贴吧,而食物营养科普主题的关键词的选取主要是通过营养学词典部分,保健食品功能,贴近于此领域的词汇(如:水果,农业等)来确定。数据获取完毕之后,需要对食物营养科普信息进行预处理包括分词处理,停用词处理等操作,然后进行算法的对比实验,通过精确率,召回率,F1值三大指标来进行衡量算法的优劣。实现话题跟踪与检测功能时,需要使用的是文本聚类和文本分类算法,文本聚类使用的算法有LDA主题模型,K-MEANS,DBSCN,通过指标的比较,DBSCN比较准确;文本分类使用的算法有SVM,KNN,Bayes,通过指标的比较,朴素贝叶斯更加准确。由此看出,把DBSCN与朴素贝叶斯应用到系统中。在实现食物营养科普信息舆情属性功能时,需要进行文本情感分析,使用的算法有LSTM,CNN,RNN,通过指标的比较,CNN较为准确,把CNN算法应用到系统当中。3.根据食物营养科普信息的需求分析,完成了系统的功能模块设计以及适用于本系统的算法选取实验,并以此为基础完成并实现了基于主题爬虫的食物营养科普信息监测系统,实现的主要功能包含:可视化展示、信息管理、系统管理、报表统计等。本系统选择B/S系统架构,前台使用Layui框架构建,后台使用Spring boot框架,以Java、Python作为开发语言,Java实现系统的开发,而系统中的主题爬虫以及算法设计是为Python。MySQL为系统数据库,数据库与网站本体部署在同一台物理服务器上。完成系统开发后需进行系统测试,测试结果显示此系统能够满足设计阶段确定的功能性需求和性能需求,可以进行基本的食物营养科普信息监测与分析。该系统已在农业农村部食物与营养发展研究所得到应用。实践表明,该系统可以满足使用人员对于食物营养科普信息监测与分析需求,能够及时了解食物营养相关科普动态。
面向定题领域的事件驱动和协议驱动的主题爬虫应用研究
这是一篇关于主题爬虫,深层主题爬虫,事件驱动,协议驱动,中文分词,向量空间模型的论文, 主要内容为网络数据根据呈现的结构被分为表层网页数据和深层网页数据，深层网络数据占网络数据的大部分。由于通用主题爬虫注重抽取表层网络数据，没有重视深层网页数据的抓取，查全率不高；另外通用爬虫返回的结果多而杂乱，且内容的准确率不高。因此，一个能抓取深层网络数据的，且返回的网页数据的准确度能达到用户需求的主题爬虫是当前研究课题的主要问题。本文针对定题领域，采用事件驱动模式和协议驱动模式，结合定题的主题网页特征，构建定题爬虫应用模型。本文主要工作有： 1.研究了主题爬虫的相关理论和相关算法。探索事件驱动的触发方式，提高了传统主题爬虫的召回率；提出结合布尔模型和向量空间模型的方式来计算主题相关性，比较了使用布尔模型与使用布尔和向量空间模型结合的主题相关性预测的两种方式，分析表明后者在定题的相关性结果上更准确。 2.提出了基于事件驱动的定题领域的主题爬虫系统模型，该模型提高了主题爬虫爬全率。该模型用事件驱动方式抓取深层网页。在链接分析时使用布隆过滤器去重。在链接相关性预测时采用基于链接的BM字符串匹配算法结合主题链接特征条件，降低了链接匹配和网页下载的开销；使用基于向量空间模型的内容过滤算法，把匹配到的主题关键字射映到向量空间模型中对应的项，提高了链接预测的准确性。该模型以车型参数作为定题主题，实现了该领域信息的自动抽取和解析，提高了网页召回率。 3.建立了基于协议驱动的定题领域的主题爬虫系统模型，该模型提高了主题爬虫爬准率。提出了在特定领域分词时采用正向最大字符串匹配法结合正向主题关键词特殊匹配法，该方法能切出更多的主题关键词，提高了抓取信息的准确性，并降低了误过滤主题相关的数据。在链接预测时结合了布尔模型和向量空间模型，提高了链接预测的准确性。该模型以旋转机械故障诊断知识作为主题，展开了对该主题爬虫的应用研究。实验结果表明，抓取结果网页集与主题的相关性高。
基于网络爬虫的水利信息聚合系统的设计与实现
这是一篇关于水利,主题爬虫,相关性分析,GIS,信息聚合的论文, 主要内容为随着水利信息化的发展,互联网上累积了数据量庞大的水利主题信息。由于互联网上的信息具有数据量庞大,分布离散,结构复杂等特点,采用传统的人工采集方式进行信息的获取,具有效率低下等问题。使用网络爬虫则可以方便快捷地获取到数据量庞大,主题相关性高的水利信息。系统以主题爬虫为基础构建信息聚合平台,实现水利信息的获取和利用。论文的主要研究内容如下:(1)水利主题爬虫各功能模块设计。对主题爬虫的框架进行选择,种子站点的集合进行筛选,主题描述词库进行定义,爬行策略进行选择,链接提取方案进行设计,主题相关性分析算法进行分析与改进。(2)水利GIS信息爬取方案设计。GIS格式的信息是水利行业区别于其他行业的显著特点。水利地理信息大多数是以接口的形式提供服务,用户无法直接获取到原始的数据。可根据瓦片金字塔模型进行地图拼接和缩放算法的设计,实现水利地图信息的获取。(3)多种格式水利信息爬取方案设计。水利主题爬虫根据不同格式信息的特点定制不同的爬取方案,将文字、数据、图片、视频影像和地图等多种格式的水利信息进行全面获取。(4)水利信息规范化设计。为了解决水利信息形式不统一、表现不规范等问题,水利信息规范化模块将信息按种类转化成通用的格式,并对不符合规范的信息进行相应算法处理,使信息规范化。(5)搭建水利信息聚合平台。以爬虫爬取的水利信息为基础,进行水利信息聚合平台的搭建。该平台对水利信息进行聚合,为用户提供水利信息展示和检索等多种服务。水利信息聚合系统采用主题爬虫对信息进行爬取,并且构建水利信息聚合平台,将水利信息在该平台进行聚合使用,为用户提供多种特色化信息服务。该系统为用户进行水利信息的采集和利用带来了极大的便利和良好的体验。
基于主题的多线程网络爬虫系统的研究与实现
这是一篇关于主题爬虫,文本去重,simhash,LCS,相关度的论文, 主要内容为随着互联网的蓬勃发展,网络上的信息呈现爆炸式增长。由于互联网上的数据过于庞大,数据增长快而且更新十分迅速,并且具有很强的动态性,所以用户难以快速准确的获取到自己需要的信息。为了从如此浩瀚、巨大的资料库中快速精准地查找用户所需资料,同时尽可能忽略掉不相关的信息,搜索引擎技术应运而生。作为一个辅助人们检索信息的工具、用户访问万维网的入口和指南,搜索引擎的目标是达到尽可能高的网络覆盖率,但是高的网络覆盖率又会导致其为用户提供的无用信息过多。此外传统搜索引擎提供的特定领域的信息检索结果不够专业,无法满足特定领域、特定专业人群的特定需求。 为了解决传统搜索引擎的局限性,本文设计并实现了一种基于主题的多线程网络爬虫系统,用于爬取互联网中的新闻和博客页面。本文完成了以下工作： 首先,研究传统网络爬虫和已有的主题爬虫的相关技术,并对其进行简单介绍； 其次,针对系统在文本去重方面的需求,对文本去重技术进行研究和探讨,提出了基于语义指纹和LCS的文本快速去重方法； 再次,对系统进行需求分析,并根据需求分析对系统功能和数据库进行总体设计； 最后,对系统的主要功能模块进行了详细设计,包括功能模块详细设计、处理流程设计,描述了系统关键模块的代码实现,并简单展示了系统的运行界面。 研究并实现的基于主题的多线程网络爬虫系统支持多任务、多线程爬取页面,支持用户进行参数配置、主题配置。该系统能提供实时的针对某一特定领域的新闻、博客信息的爬取。本文最后从数据抓取速率及主题判断的准确度两个方面对系统的性能进行验证,结果表明本系统能达到较高的网页抓取速率,在主题资源搜索方面具有较高的准确度和覆盖率,同时具备良好的文本去重效果。
基于领域本体的主题爬虫系统研究与实现
这是一篇关于搜索引擎,主题爬虫,搜索算法,K-means算法,本体的论文, 主要内容为搜索引擎是人们从网络中获取信息资源的重要工具。目前主要的搜索引擎服务商有Google、百度、Yahoo等,这些搜索引擎面向的是广大的互联网用户,提供的都是横向的信息搜索服务。但是,由于互联网中的信息量巨大,网页内容参差不齐,如何为用户搜索到与搜索需求最相关的高质量网页是目前搜索引擎研究的热点问题之一。 本文着眼于目前主题爬虫研究的主要问题即爬虫搜索策略,主要进行了以下几个方面的工作。 首先对网络蜘蛛爬虫技术进行了深入研究。研究了搜索引擎的相关理论和技术之后,掌握了网络爬虫的工作原理以及具体的实现技术,在结合了主题爬虫通用工作模型理论之后,提出了本系统所采用的主题搜索引擎体系结构。这部分工作主要解决了主题爬虫主题概念集合表述、URL重要度判断的问题。主题概念集合将知识领域本体库中的知识点抽取出来之后,结合知识节点之间的关系,对整个集合中的特征词计算权重,以此作为主题特征词集合。在主题爬虫进行页面搜集的过程中,系统采用一种将网页内容相似度与链接结构相结合的算法,来对URL的重要程度进行计算,将解析出的URL按照重要程度的高低插入到待爬取链接队列中。网页内容的相似度是利用空间向量模型来计算网页相关信息与主题特征词集合向量的相似度,同时还考虑了关键词的位置,关键词所在位置不同,相应的权重也不同。在考虑链接结构时,本算法对HITS算法进行了一些改进,仅考虑了页面的Hub值,网页Hub值越大,越有可能是导航页,导航页比较容易发现相关的主题资源。该算法将父链接的网页文本价值与链接价值相结合,同时还考虑了父链接的重要度对子链接的贡献,可以提高链接价值的预测准确度,能够确保爬虫总是优先搜集重要程度高的页面。 其次对爬虫搜索结果的排序算法进行了研究。提出了将K-means算法应用于网页主题凝聚度的计算。以K-means算法为基础,通过对网页文本内容进行分词,计算分词与主题词的凝聚度,对页面的搜索结果就以该凝聚度为标准来排序。 最后,实现了一个基于领域知识本体的主题爬虫系统,利用数学知识本体库,通过实验对本系统进行测试。对实验结果进行了分析,并与相关算法进行了比较,验证了算法的可行性。
主题搜索引擎中的爬取技术研究
这是一篇关于主题爬虫,网页去噪,主题漂移,主题孤岛,隧道技术的论文, 主要内容为随着互联网的迅速发展，网络资源的信息量也急剧增长。人们发现使用普通搜索引擎搜索主题信息的及时性和准确性越来越不理想。主题搜索引擎由于只采集与某一特定领域相关的信息，以构筑某一主题的Web信息资源库为目标，因而具有很高的实用价值和广阔的应用领域。本文主要对主题搜索引擎中占有重要地位的主题爬虫进行深入分析和研究。 本文首先介绍了一些搜索引擎相关的基本理论，包括普通爬虫与主题爬虫的结构、工作原理以及Web信息的分布特征等内容。为了提高主题搜索引擎的查准率，就需要对爬取的网页进行噪声去除，提取出网页的正文信息。本文在介绍文本表示模型的相关理论和深入分析现有各种网页去噪算法的优缺点之后，以降低爬虫系统的计算复杂度和提高搜索引擎的查准率为目标，提出了一种基于标签属性的网页去噪算法。 针对现有爬行算法不能很好解决“主题漂移”和“主题孤岛”两类问题，本文提出了一种基于动态隧道技术的爬行算法。该爬行算法在基于内容分析的爬行算法中加入以Page Rank为主的链接分析思想，可以比较好的解决基于链接分析爬行算法中出现的主题漂移问题。另外，通过在链接预测过程中对不相关的链接进行深入处理，并动态调整在不相关链接方向上的爬行深度，使得新的爬行算法能够在一定程度上解决主题孤岛问题，从而提高主题搜索引擎的查全率。 最后本文以开源软件Nutch为基础，对所提出的算法进行了设计与实现，并对基于标签属性的网页去噪算法和基于动态隧道技术的爬行算法进行了测试。测试结果表明，在采用了新的网页去噪算法和基于动态隧道技术的爬行算法之后，本文基于Internet上实现的军事主题搜索引擎的查准率和查全率都得到了明显的提高。
主题网络爬虫的研究和实现
这是一篇关于主题爬虫,搜索策略,相关度模型,查准率,查全率的论文, 主要内容为随着网络信息时代的不断发展,广泛分布于因特网上的各类信息深刻地影响着人类生活的各个方面。如今,人们能够通过浏览网页的方式来查询其所需的各类目标信息。与此同时,由于因特网上的信息成千上万,信息量处于高速膨胀的状态,使得如何通过网页便捷地查询到目标信息这一问题更为凸现。 在信息多元化发展的趋势之下,通用搜索引擎在很大程度上为人们在因特网上查找信息提供方便,但也暴露出种种不足。例如：查准率偏低、信息内容相对陈旧、信息分布范围不均衡等。因此,主题搜索引擎技术成为新的研究方向,它专门为特定领域、特定人群或特定需求提供具有一定价值的信息资源和检索服务。主题爬虫作为主题搜索引擎的信息抓取部分,负责对与用户感兴趣的某一主题相关的网页进行抓取。 本文主要通过六个章节来分析主题爬虫的设计和实现。第一章主要阐述了搜索引擎的发展过程,网络爬虫在搜索引擎中的作用,简述了国内外的研究现状以及课题的研究意义。第二章是本文的理论基础：首先阐述了搜索引擎的基本原理,随后基于对比通用爬虫和主题爬虫找出其差异之处及其各自的特点之上,重点讨论了两种爬虫的体系结构和基本工作原理。第三章主要讨论了主题爬虫领域关键技术的研究和改进,包括文本特征项的提取方法、搜索策略以及网页消重技术的研究,并提出基于主题相关度的PageRank算法的改进。第四章主要探讨主题爬虫的系统设计与实现,主要包括网页抓取模块、网页分析模块、中文分词以及URL管理等模块。第五章描述了主题爬虫系统的界面与操作细节,以及利用该系统进行的实验过程,通过对实验数据的分析,证明了前述章节中各个理论的合理性与有效性。第六章对前面章节内容进行小结与归纳,并提出本文的创新点与局限性。 实验结果证明：该主题爬虫在稳定运行的同时有着更好的收获率,极大地减少了时间和存储空间,在时间上的优势保证了网页的及时更新,此外用户查找时得到的冗余和无用信息也较少,具有更高的查准率。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计货栈 ，原文地址：https://bishedaima.com/lunwen/46809.html
