基于Groovy的分布式网络爬虫系统的设计与实现
这是一篇关于网络爬虫,主题爬虫,RMI,Groovy,分布式软件的论文, 主要内容为随着Internet的发展壮大,人们获取信息的途径逐渐被网络所替代,同时网络信息的增长也达到了惊人的速度。在实际应用中,用户往往有着自己的浏览习惯及特定的主题敏感性,通用网络爬虫难免无法满足类似个性化的信息收集需要,现有的主题爬虫也有着种种弊端。 论文通过分析总结主题页面在Web上的分布特征,设计并实现了一个Windows环境下的分布式的可定制主题爬虫系统CTCS (Customizable topic crawler system)。 论文阐述了CTCS系统的工作环境、网络拓扑结构、子系统及其功能模块和工作流程,以及各子系统间通信接口的设计,对CTCS系统的各子系统的设计和实现都进行了详细的论述,包括大量的系统难点分析及解决方案。论文详细说明了CTCS系统实现中的一些特点：(1)在人工定制的过程中,抛弃了传统的纯数据项配置文件,将Groovy脚本引入配置,使得逻辑表达可出现在配置中,提高了配置的灵活性以及爬虫抓取数据的精度和速度。(2)利用基于HTTP协议网络通信下的客户端状态保持方式,实现了持有状态的HTTPClient组件,很大程度满足了对Deep Web数据抓取的要求。(3)使用Java RMI (Remote method invocation)构建了一整套灵活的分布式解决方案,此方案不仅仅支持爬虫系统,还可通过配置作为其它分布式业务的解决方案。(4)系统中引入日志中心的概念,将日志汇总并丌发预警功能,极大的方便了系统的开发和维护。 论文的最后,对系统的运行效果进行了介绍。
基于SOA的商户服务系统的设计与实现
这是一篇关于O2O,MVC,SOA,Groovy的论文, 主要内容为在O2O领域,商户是互联网公司竞争的重要指标,谁拥有更多的商户,谁就能占据更多的市场份额,因此公司也越来越重视商家端的研发。当公司面对日益增多的商户数以及商家业务需求时,如何构建商家服务后台系统来满足高流量的商户访问、高安全的商户操作和复杂的商户业务需求,成为各大O2O公司关注的焦点。大部分成熟的O2O公司,正逐渐面临着百万级别的商户数据以及越来越多的垂直业务领域(如团购、预定、丽人、电影、广告、结婚等)。管理好用户的数据,构建好复杂业务的商户后台系统,更好满足商户的系统体验是各大O2O企业的核心使命。本文以新美大公司的商户后台系统为例,系统在技术上采用J2EE体系结构,使用MVC模式的设计思想,结合了 Struts,Spring,IBATIS等先进技术方法,通过SSI框架可以减少开发工作量,配置文件的使用增加了系统的可扩展性和灵活性。其次系统采用SOA架构并使用基于SOA的Pigeon、Lion、Cat等框架进行设计开发。通过SOA架构,各服务组件之间耦合性较低,有利于处理复杂的业务需求。最后,系统的很多模块使用Groovy这一动态语言开发,通过Groovy动态语言的使用明显减少了开发的工作量,提高开发的效率。通过相关技术的使用,如基于SOA的Pigeon框架将服务进行分布式的部署,各服务组件之间耦合性较低,对外仅仅暴露接口名,web层无需关心其底层实现,因而有利于实现复杂的业务逻辑。其次缓存、异步调用等技术保证了快速的响应时间以及相关安全技术的使用,都极大提高了商户的使用体验。最后,动态语言的使用也提高了开发者开发的效率,如在商家后台的销售数据模块,通过Groovy语言对代码的重构,使LOC从550行左右降低到200行左右,效率惊人,保证了系统的快速迭代。
基于Groovy的通用交易监控报警系统的设计与实现
这是一篇关于监控,报警,交易,日志,Groovy的论文, 主要内容为随着互联网电子商务的发展,网络交易已经与人们的生活紧密相连。为了监控交易系统的运行状况,了解交易的结果,各个企业和团队需要设计和开发一套监控报警系统。如何提高监控报警系统的通用性、易用性以及如何实现报警规则的灵活性?这些都是本文所要解决的问题。本文研究和开发了一套基于Groovy的通用交易监控报警系统,可适用绝大部分交易系统,能够监控交易统计结果并且能够根据自定义的报警规则发出警告。本文研究了目前监控报警系统的发展状况,了解了其系统架构和使用的技术。总体来说系统划分为四个部分,数据采集、计算统计、数据监控和弹性报警。数据采集部分是将原交易系统的交易数据采集到通用报警系统。计算统计部分负责将采集到的数据计算为统计数据并存储起来。数据监控部分提供监控相关的服务。弹性报警部分是根据用户编写的报警规则对异常现象进行报警。本文所研发的监控报警系统实现了以下解决方案,该方案包含四个方面。1.基于日志文件的数据采集。该方案定义了一种日志文件格式,通过对该日志文件进行解析,即可获得交易系统的原始数据。该方案适用绝大部分交易系统,对原交易系统改动最小甚至没有改动。2.基于SQL的计算统计。该方案使用的是数据库的统计函数,根据指标配置信息将采集到的原始数据计算成指标数据并存储到数据库中。3.基于Groovy的报警规则管理。该方案是使用Groovy脚本作为报警规则,因其可以与Java程序无缝连接,支持元编程,极大的提高了系统的可拓展性,并且为系统不间断运行提供了可能。4.RESTful的系统管理服务。系统前后台架构采用Spring+Jersey+Mybatis的RESTful的架构风格,实现了与监控报警相关的管理服务,包括日志模型管理、指标管理、监控服务、警报管理、角色管理和订阅管理。本文研发的监控报警系统具有较好的通用性,适用大部分交易系统,也具有一定的灵活性,能够计算多种指标数据并且自定义报警规则。
基于Groovy的通用交易监控报警系统的设计与实现
这是一篇关于监控,报警,交易,日志,Groovy的论文, 主要内容为随着互联网电子商务的发展,网络交易已经与人们的生活紧密相连。为了监控交易系统的运行状况,了解交易的结果,各个企业和团队需要设计和开发一套监控报警系统。如何提高监控报警系统的通用性、易用性以及如何实现报警规则的灵活性?这些都是本文所要解决的问题。本文研究和开发了一套基于Groovy的通用交易监控报警系统,可适用绝大部分交易系统,能够监控交易统计结果并且能够根据自定义的报警规则发出警告。本文研究了目前监控报警系统的发展状况,了解了其系统架构和使用的技术。总体来说系统划分为四个部分,数据采集、计算统计、数据监控和弹性报警。数据采集部分是将原交易系统的交易数据采集到通用报警系统。计算统计部分负责将采集到的数据计算为统计数据并存储起来。数据监控部分提供监控相关的服务。弹性报警部分是根据用户编写的报警规则对异常现象进行报警。本文所研发的监控报警系统实现了以下解决方案,该方案包含四个方面。1.基于日志文件的数据采集。该方案定义了一种日志文件格式,通过对该日志文件进行解析,即可获得交易系统的原始数据。该方案适用绝大部分交易系统,对原交易系统改动最小甚至没有改动。2.基于SQL的计算统计。该方案使用的是数据库的统计函数,根据指标配置信息将采集到的原始数据计算成指标数据并存储到数据库中。3.基于Groovy的报警规则管理。该方案是使用Groovy脚本作为报警规则,因其可以与Java程序无缝连接,支持元编程,极大的提高了系统的可拓展性,并且为系统不间断运行提供了可能。4.RESTful的系统管理服务。系统前后台架构采用Spring+Jersey+Mybatis的RESTful的架构风格,实现了与监控报警相关的管理服务,包括日志模型管理、指标管理、监控服务、警报管理、角色管理和订阅管理。本文研发的监控报警系统具有较好的通用性,适用大部分交易系统,也具有一定的灵活性,能够计算多种指标数据并且自定义报警规则。
基于Groovy的通用交易监控报警系统的设计与实现
这是一篇关于监控,报警,交易,日志,Groovy的论文, 主要内容为随着互联网电子商务的发展,网络交易已经与人们的生活紧密相连。为了监控交易系统的运行状况,了解交易的结果,各个企业和团队需要设计和开发一套监控报警系统。如何提高监控报警系统的通用性、易用性以及如何实现报警规则的灵活性?这些都是本文所要解决的问题。本文研究和开发了一套基于Groovy的通用交易监控报警系统,可适用绝大部分交易系统,能够监控交易统计结果并且能够根据自定义的报警规则发出警告。本文研究了目前监控报警系统的发展状况,了解了其系统架构和使用的技术。总体来说系统划分为四个部分,数据采集、计算统计、数据监控和弹性报警。数据采集部分是将原交易系统的交易数据采集到通用报警系统。计算统计部分负责将采集到的数据计算为统计数据并存储起来。数据监控部分提供监控相关的服务。弹性报警部分是根据用户编写的报警规则对异常现象进行报警。本文所研发的监控报警系统实现了以下解决方案,该方案包含四个方面。1.基于日志文件的数据采集。该方案定义了一种日志文件格式,通过对该日志文件进行解析,即可获得交易系统的原始数据。该方案适用绝大部分交易系统,对原交易系统改动最小甚至没有改动。2.基于SQL的计算统计。该方案使用的是数据库的统计函数,根据指标配置信息将采集到的原始数据计算成指标数据并存储到数据库中。3.基于Groovy的报警规则管理。该方案是使用Groovy脚本作为报警规则,因其可以与Java程序无缝连接,支持元编程,极大的提高了系统的可拓展性,并且为系统不间断运行提供了可能。4.RESTful的系统管理服务。系统前后台架构采用Spring+Jersey+Mybatis的RESTful的架构风格,实现了与监控报警相关的管理服务,包括日志模型管理、指标管理、监控服务、警报管理、角色管理和订阅管理。本文研发的监控报警系统具有较好的通用性,适用大部分交易系统,也具有一定的灵活性,能够计算多种指标数据并且自定义报警规则。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设向导 ，原文地址：https://bishedaima.com/lunwen/50775.html
