基于ElasticSearch的科技型企业数据筛选与分析管理系统
这是一篇关于筛选管理,数据分析,SSH框架,ElasticSearch的论文, 主要内容为近年来,随着计算机技术的飞速发展和相关领域的不断开拓创新,国家的政治、经济、科技、教育、工业发展以及我们的日常生活、工作、学习对大数据分析和智能化生产的依赖越来越深。我国对科技产业的发展提供大力支持,从《“十三五”国家科技创新规划》到《国家重点支持的高新技术领域》,各项优惠政策为中小微科技企业的发展带来了发展便利,在金融、税收、财政补贴、规定限制等方方面面提供优惠政策。然而,落实到具体的工作中,会发现从庞大企业中找出科技型创新企业并非一项易事,所以在这样的背景下,对数据的分析技术和智能化辅助系统显得尤为重要,能大大提高工作的效率和准确率。本系统是一个基于ElasticSearch的科技型企业数据筛选与分析管理系统。目前主要工作是完成了对山东省内科技型中小微企业数据的筛选,以山东省工商局提供的200万中小微企业名录中的企业名称和企业经营范围数据为依托,根据《山东省“十三五”科技创新规划》、《国家重点支持的高新技术领域》、《山东省新旧动能转化十大领域》文件对科技型企业的指示,对山东省近200万中小微企业进行了科技型符合度的分数计算,并支持按照分数排名,筛选出准科技型的企业,存入准科技型企业储备库。除此之外,系统基于ElasticSearch分布式全文搜索引擎,实现了多项功能,包括支持用户动态筛选、生成筛选报表、按照不同的条件查询与导出、对数据储备库进行管理、对基础关键词的管理等。目前,基于ElasticSearch的科技型企业数据筛选与分析管理系统主要分为四个模块,分别是动态筛选管理——根据动态导入的关键字对源数据进行筛选并可视化展示筛选结果;数据储备库管理——对已入库的数据,进行批次管理、查询管理等;基础关键词管理——提供对关键字的管理和查询功能;用户管理——对用户的角色分配和权限管理功能。本系统基于B/S架构开发,前后端分离,后端使用线下流行的SSM框架,即Spring+Spring MVC+Mybatis,数据库使用MariaDB,效率高于传统的MySQL,并且在建数据库的时候使用了索引技术,对查询量大的数据做了索引冗余,极大地提高了查询效率。使用开源的分布式全文搜索引擎ElasticSearch,以及开源中文分词器IK分词器,为了保证精确度,使用了IK分词器的粗粒度模式,使得匹配到的数据尽可能准确,为了适应数据筛选分类标准多且杂的情况,我们做了基于分类标准的独立基础关键词词库,以及自定义停词字典,使用了 IK分词器的热更新功能,保证基础关键词词库的实时更新。在数据筛选操作上,使用了多线程技术,多节点同时进行筛选任务,并通过闭锁技术进行同步,通过数据节点之间的树形关系的特点,逐层作业,最终归并到根节点,完成整个筛选任务,极大地提高了筛选效率。基于ElasticSearch的科技型企业数据筛选与分析管理系统上线之后工作效率高、状态稳定,在2018年,成功从200万中小微企业筛选出了4万准科技型企业数据,存入数据储备库。为更快捷有效地辅助山东省对中小微企业的扶持工作,提供了技术支撑。
基于ElasticSearch的科技型企业数据筛选与分析管理系统
这是一篇关于筛选管理,数据分析,SSH框架,ElasticSearch的论文, 主要内容为近年来,随着计算机技术的飞速发展和相关领域的不断开拓创新,国家的政治、经济、科技、教育、工业发展以及我们的日常生活、工作、学习对大数据分析和智能化生产的依赖越来越深。我国对科技产业的发展提供大力支持,从《“十三五”国家科技创新规划》到《国家重点支持的高新技术领域》,各项优惠政策为中小微科技企业的发展带来了发展便利,在金融、税收、财政补贴、规定限制等方方面面提供优惠政策。然而,落实到具体的工作中,会发现从庞大企业中找出科技型创新企业并非一项易事,所以在这样的背景下,对数据的分析技术和智能化辅助系统显得尤为重要,能大大提高工作的效率和准确率。本系统是一个基于ElasticSearch的科技型企业数据筛选与分析管理系统。目前主要工作是完成了对山东省内科技型中小微企业数据的筛选,以山东省工商局提供的200万中小微企业名录中的企业名称和企业经营范围数据为依托,根据《山东省“十三五”科技创新规划》、《国家重点支持的高新技术领域》、《山东省新旧动能转化十大领域》文件对科技型企业的指示,对山东省近200万中小微企业进行了科技型符合度的分数计算,并支持按照分数排名,筛选出准科技型的企业,存入准科技型企业储备库。除此之外,系统基于ElasticSearch分布式全文搜索引擎,实现了多项功能,包括支持用户动态筛选、生成筛选报表、按照不同的条件查询与导出、对数据储备库进行管理、对基础关键词的管理等。目前,基于ElasticSearch的科技型企业数据筛选与分析管理系统主要分为四个模块,分别是动态筛选管理——根据动态导入的关键字对源数据进行筛选并可视化展示筛选结果;数据储备库管理——对已入库的数据,进行批次管理、查询管理等;基础关键词管理——提供对关键字的管理和查询功能;用户管理——对用户的角色分配和权限管理功能。本系统基于B/S架构开发,前后端分离,后端使用线下流行的SSM框架,即Spring+Spring MVC+Mybatis,数据库使用MariaDB,效率高于传统的MySQL,并且在建数据库的时候使用了索引技术,对查询量大的数据做了索引冗余,极大地提高了查询效率。使用开源的分布式全文搜索引擎ElasticSearch,以及开源中文分词器IK分词器,为了保证精确度,使用了IK分词器的粗粒度模式,使得匹配到的数据尽可能准确,为了适应数据筛选分类标准多且杂的情况,我们做了基于分类标准的独立基础关键词词库,以及自定义停词字典,使用了 IK分词器的热更新功能,保证基础关键词词库的实时更新。在数据筛选操作上,使用了多线程技术,多节点同时进行筛选任务,并通过闭锁技术进行同步,通过数据节点之间的树形关系的特点,逐层作业,最终归并到根节点,完成整个筛选任务,极大地提高了筛选效率。基于ElasticSearch的科技型企业数据筛选与分析管理系统上线之后工作效率高、状态稳定,在2018年,成功从200万中小微企业筛选出了4万准科技型企业数据,存入数据储备库。为更快捷有效地辅助山东省对中小微企业的扶持工作,提供了技术支撑。
基于ElasticSearch的个性化推荐系统研究
这是一篇关于推荐系统,ElasticSearch,TFIDF,协同过滤,机器学习的论文, 主要内容为近年来的科技发展带来了信息的不断增长,推荐系统的出现解决了用户寻找有用价值的信息难的问题,对于不同用户的个性化需求,推荐系统通过分析用户的偏好以及历史记录,有效的找到用户关注的点,向用户推荐其最感兴趣的信息,从而满足用户的个性化需求。信息的增多产生的问题是不能够快速的检索到相关的信息,因此利用搜索引擎的快速检索性质,将搜索引擎与推荐系统相结合,提出了一种基于Elastic Search的推荐系统架构。首先对于通用的推荐系统进行了简要的介绍,对于不同的推荐算法进行了优缺点的阐述。其次介绍了Elastic Search搜索引擎的全文检索能力,并提出了一种基于时间序列的TFIDF关键词提取算法,根据不同用户的历史记录,按照不同的权重进行用户的关键词提取,从而解决了搜索引擎不能满足个性化的需求的问题。再次对于Elastic Search的召回结果利用机器学习算法进行重排序,深入的分析了三种不同的机器学习算法,提出了一种用户-物品特征融合的方式来提取正负样本,对线性模型逻辑回归,支持向量机,以及非线性模型梯度提升树进行了离线的对比。然后利用Elastic Search的召回策略和机器学习的排序策略,对于整个系统进行了设计与实现。实现了基于时间序列的TFIDF关键词提取并结合Elastic Search的搜索能力得到了召回结果,实现了三种机器学习算法,对于召回结果进行了重排序并返回给用户推荐列表。最后通过抓取某公司的客户数据,实现了整个系统,并具体的展示了各个主要部分的类图和整个系统的时序图,并对于三种不同的推荐算法进行了AB-Test的线上对比,证明了基于时间序列的TFIDF关键词提取召回的方式点击率比较高。
基于Phoebus/Alarms的加速器报警技术研究
这是一篇关于报警系统,EPICS,粒子加速器,Phoebus,Kafka,ElasticSearch的论文, 主要内容为报警系统作为控制系统的重要组成部分,用于实时监测过程变量的报警状态并发布报警信息,以便于工作人员及时进行故障维修或隐患排除。EPICS(Ex-perimental Physics and Industrial Control System)是应用最广泛的粒子加速器控制系统开发工具。随着EPICS技术的发展,EPICS社区先后发布了多款用于报警系统的开源软件,如 ALH(Alarm Handler)、BEAST(Best Ever Alarm System Toolkit)和Phoebus/Alarms等,本论文是在EPICS社区最新发布的Phoebus/Alarms基础上进行报警技术的研究与应用。本论文描述了 Phoebus/Alarms报警系统的开发环境,如Phoebus、Kafka、Elas-ticSearch、Kibana、Anaconda和前后端分离网页架构等技术。对Phoebus/Alarms报警系统的系统架构和设计理念进行了研究,并在其原型系统上进行了二次开发,增加了报警信息网页查询、微信推送和短信发送等3种报警信息的发布方式,并实现了报警参数的自动配置功能。报警系统的总体架构分为服务端、Kafka、上层应用端等3层。服务端的组件Alarm Server和AutoConfigurator分别用于监测过程变量的报警状态变化和实现报警参数的自动配置。Kafka将过程变量的实时报警信息和报警系统的相关配置等信息存储在4个主题中,从而实现了应用解耦。上层应用端主要由3类模块组成,分别是Alarms中的客户端组件、报警信息查询网页、微信和短信发布程序。Alarms中的客户端组件可以实现声音报警播放、报警状态展示和报警状态确认等功能。为了方便工作人员远程查询各过程变量的实时报警信息,我们开发了基于B/S(Browser/Server)架构的报警信息查询网页,该网页通过WebSocket通信协议缩短了前后端的同步时间,所展示的报警信息将根据报警严重程度的不同显示对应的颜色,并可通过报警严重程度、所属组别等条件进行过滤和排序。另外,我们还开发了微信和短信发布程序,该程序拥有跟模块Alarms不同的报警策略,不仅可以发送报警信息和恢复信息,还可以基于装置的运行模式、报警信息等内容采取抑制措施,从而将有效的报警信息发送给工作人员。本论文研究的报警技术在合肥光源、红外自由电子激光装置上得到了应用。报警系统目前运行稳定,为工作人员及时掌握装置的报警信息提供了重要的技术支持。
基于云平台的高性能WEB电商平台的优化研究与实现
这是一篇关于电商平台,云计算,负载均衡,ElasticSearch,高性能的论文, 主要内容为随着互联网的快速发展,用户数量也在逐渐增加,人们在日常的生活中会经常使用计算机上网,在线购物已经成为人们的日常,Web应用系统面临的问题也在增大,容易出现响应时间过长,系统运行不正常等问题,研发人员需要根据实际情况尽可能对Web应用系统做最大限度的优化,保证Web应用系统的使用质量,构建高性能Web应用系统。以本人为某木塑案例企业已经开发的电商平台为基础,对已经开发的电商平台进行重构优化设计,提升WEB电商平台性能,最终实现一个高性能WEB电商平台。首先研究了Web应用系统架构并分析架构的应用场景和优缺点,分析目前Web应用系统优化方案,从垂直优化和水平优化视角详细阐述了高性能Web应用系统所要优化的内容及相关技术点。然后对已经开发的电商平台进行重构优化,先对架构进行重构优化设计,依托云计算技术,以低廉的成本满足系统的可扩展的性能需求,将原来的单体架构调整为负载均衡层、业务层、中间层、缓存层、数据库层和数据分析层及基础服务层,负载均衡层采用Nginx用来提升系统的吞吐量,提高系统的并发能力,使用最新的全站加速技术提升动静结合的页面的响应速度;中间层使用RabbitMQ消息中间件,异步处理消息,流量削峰;缓存层加快数据的响应速度满足人们对响应速度的需求;数据库层采用主从复制的架构和读写分离模型,提高系统的容灾能力和缓解单库读写压力,由单一云服务调整为多云服务,降低单一云服务带来的风险。在数据传输过程中,采用HTTP/2.0协议提升数据的安全性和传输速度。之后对电商平台中的模块进行优化设计,登录模块采用二次认证的安全策略,提升系统的安全性能;订单模块提出的TPQCAS并发处理模型,解决中小企业订单的并发能力和出现的超卖问题;搜索模块提出基于Trie树的关键词匹配算法和ElasticSearch结合方案,提升检索的速度和并发能力。数据分析层新增了用户行为分析模块,用户行为分析用来分析用户行为数据,为营销提供决策支持。再次,本文阐述了电商平台实现的整体功能,并详细阐述了登录注册模块、订单模块、搜索模块、用户行为分析模块、监控管理模块的实现,同时也阐述了云资源管控模块,云资源管控通过云资源整合解决多云服务带来的账号管理问题,云资源整合采用工厂设计模式,提升扩展性,云资源监控对异常服务器及时预警,并及时生成快照,提升系统的高可用性。最后,对实现的电商平台进行功能测试和性能测试,测试结果表明整体具备较好的性能,对中小企业的WEB应用系统构建具有一定的参考意义。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码客栈 ，原文地址：https://bishedaima.com/lunwen/45076.html
