子午工程数据分发系统的设计与实现
这是一篇关于子午工程,数据分发系统,MVC,JSF,Spring,Hibernate,Quartz的论文, 主要内容为本论文所讨论的是子午工程数据与通信系统数据分发子系统的设计与实现。 文中首先介绍了项目背景和依托,子午工程是一个国家级大型空间环境地基监测系统,它分为数据与通信系统、空间环境监测系统和研究预报系统,其中数据与通信系统中的数据服务分系统又包括数据分发子系统、数据共享子系统和数据产品加工子系统,本文就是针对数据分发子系统所进行的讨论。 子午工程数据分发系统主要通过数据分发软件向用户提供数据产品生成的定制工具以及根据生成的数据产品定义为特定系统用户提供数据产品的功能。本系统还通过数据分发监控软件监控数据在分发过程中的状态。同时,本系统还具有数据产品查询的功能,可以使用户方便的对已有数据产品进行查询。 文中简要介绍了项目所使用的相关技术,包括开发数据共享网站所使用的JSF、Spring、Hibernate三个开源框架,系统中所用到的PostgreSQL数据库及数据分发软件中所使用的Quartz定时技术。 文中讨论了子午工程数据分发系统的需求,将数据分发系统分为登陆管理、数据产品查询、数据产品定制、数据产品分发、数据分发监控、系统管理六大功能,对每一个功能都讨论了其用例图及流程图。 本文讨论了系统总体设计,从整体对系统的构建进行了说明,包括系统搭建过程中的软硬件环境、网络拓扑结构、数据库的设计、数据库的操作及系统框架结构设计,系统框架结构按照不同的功能划分为六层,分别是:领域模型层、资源访问层、业务逻辑层、WEB-MVC层、WebService层、安全控制层。 最后本文结合项目中实现代码与实现效果图详细论述了数据分发系统中的三个核心组件的设计,包括一般查询的设计实现与技术难点,静态查询的设计实现与技术难点,以及数据分发软件定时器Quartz的设计和两种发送方式FTP与Email的设计。
基于共享计算资源的任务调度系统研究与设计
这是一篇关于任务调度,集群分布式,Quartz,Spring boot的论文, 主要内容为在数据大爆炸的时代环境下,随着互联网信息技术的飞速发展和企业规模的逐渐扩大,大部分企业都需要拥有自己的任务调度系统去处理各种复杂的数据业务工作。其中比较多的就是定时任务,比如企业每天的工作日报发送,员工考勤状况统计等等。过去的任务需求比较简单,部署单服务器节点即可完成调度,但是随着定时数据业务的应用需求变多,许多公司对任务调度系统的功能需求也会随之增高,单服务器调度面对大规模任务需求的处理效率缓慢,容易发生单点故障且资源争用问题严重,因此需要多服务器的集群分布式任务调度系统,随之而来的问题是集群分布式任务调度系统要如何去实现任务的上线调度、任务的触发执行、任务的异常纠错以及系统的安全管理等。为了解决上述问题,本文主要研究设计了一个基于共享计算资源的任务调度系统,通过执行器集群部署任务,解决了资源争用的问题,同时将任务调度和任务执行两个功能分离,来提升系统模块之间的耦合性。本系统主要使用使用Java编程语言进行开发,任务分布式调度框架采用的是quartz,后端开发采用spring boot技术进行整合开发,并且采用My SQL数据库作为整个系统的数据服务注册中心,同时也配置了前端界面让用户能够更加方便的进行系统管理。本文的系统设计模块主要有三个,分别是任务调度中心、执行器集群以及数据库服务注册中心。任务调度中心负责的是任务的上线调度分配执行,包含的模块有任务管理模块、执行器管理模块、日志管理以及其他管理模块,可以进行任务的增删改查,执行器的增删改查、日志管理以及任务的上线执行等功能。执行器集群主要负责执行具体任务的业务逻辑,符合上述将任务调度和任务执行两个功能解耦的要求。数据库服务注册中心主要负责处理系统的数据,包括用户数据,执行器注册信息,系统运行日志等等。并且通过free marker框架引擎结合j Query来设计了一个前端操作控制界面,相较于传统的任务调度系统,还增加了任务的失败告警和运行报表监控功能。最后进行了系统测试,根据结果得出本系统基本实现了所需功能,并在吞吐量和响应速度上也达到了目标,与现有的任务调度框架进行了对比本系统在运维监控、系统部署,以及任务执行管理功能上有着较明显的优势。本文所设计的任务调度系统利用高性能开发框架进行开发,将调度和执行功能解耦,提升系统的低耦合性,同时spring boot支持打包部署让系统有着更好的可用性和可扩展性,从而满足具体的业务场景中的数据任务调度。
子午工程数据分发系统的设计与实现
这是一篇关于子午工程,数据分发系统,MVC,JSF,Spring,Hibernate,Quartz的论文, 主要内容为本论文所讨论的是子午工程数据与通信系统数据分发子系统的设计与实现。 文中首先介绍了项目背景和依托,子午工程是一个国家级大型空间环境地基监测系统,它分为数据与通信系统、空间环境监测系统和研究预报系统,其中数据与通信系统中的数据服务分系统又包括数据分发子系统、数据共享子系统和数据产品加工子系统,本文就是针对数据分发子系统所进行的讨论。 子午工程数据分发系统主要通过数据分发软件向用户提供数据产品生成的定制工具以及根据生成的数据产品定义为特定系统用户提供数据产品的功能。本系统还通过数据分发监控软件监控数据在分发过程中的状态。同时,本系统还具有数据产品查询的功能,可以使用户方便的对已有数据产品进行查询。 文中简要介绍了项目所使用的相关技术,包括开发数据共享网站所使用的JSF、Spring、Hibernate三个开源框架,系统中所用到的PostgreSQL数据库及数据分发软件中所使用的Quartz定时技术。 文中讨论了子午工程数据分发系统的需求,将数据分发系统分为登陆管理、数据产品查询、数据产品定制、数据产品分发、数据分发监控、系统管理六大功能,对每一个功能都讨论了其用例图及流程图。 本文讨论了系统总体设计,从整体对系统的构建进行了说明,包括系统搭建过程中的软硬件环境、网络拓扑结构、数据库的设计、数据库的操作及系统框架结构设计,系统框架结构按照不同的功能划分为六层,分别是:领域模型层、资源访问层、业务逻辑层、WEB-MVC层、WebService层、安全控制层。 最后本文结合项目中实现代码与实现效果图详细论述了数据分发系统中的三个核心组件的设计,包括一般查询的设计实现与技术难点,静态查询的设计实现与技术难点,以及数据分发软件定时器Quartz的设计和两种发送方式FTP与Email的设计。
基于Quartz的分布式定时任务调度模块的设计与实现
这是一篇关于定时任务,分布式定时任务调度系统,Quartz,Spring Boot的论文, 主要内容为随着信息技术的快速发展和企业发展规模的不断壮大,越来越多的企业应用系统出现了因业务场景需求,要求系统在计划的时间点去执行指定的业务操作的情况,这就是“定时任务”的需求。原先只需要部署单个服务器节点就能满足定时任务需求,但随着这种类型需求的不断增多,单台服务器已经满足不了正常的企业运转。于是,多台服务器节点组成的分布式系统应运而生。但是随之而来的问题就是在分布式部署的情况下,定时任务的配置,调度,触发、执行该如何确保正常运转。本文调研了业内常用的分布式定时任务解决方案,包括淘宝的TBSchedule、当当的Elastic-Job和唯品会的Saturn等方案,发现目前这些方案都解决了一部分分布式部署的问题,但也有着各自的缺点。在调研的基础上,本文设计和实现了基于Quartz的分布式定时任务调度系统,首先使用Quartz是因为该框架是定时任务调度的经典框架,提供了强大的定时调度功能,同时开发简单。在使用Quartz开发的基础上,将整个系统分成三个模块:调度模块、执行模块和服务注册中心模块。调度模块负责分布式定时任务的调度逻辑,而执行模块只负责定时任务即业务逻辑的执行处理。这样就能实现定时任务的配置调度与系统业务逻辑的解耦分离,提高系统的可靠性和可扩展性。而调度模块作为任务配置调度触发的主模块,主要包括了任务管理子模块、日志监控子模块和执行器管理子模块。本文的技术路线是:前端使用了FreeMarker模板引擎,后端使用Java语言,基于Spring Boot框架开发,使用MyBatis与数据库进行交互。调度模块基于高性能的开发框架进行开发,相较于传统的分布式定时任务调度系统,具有一定的优势,包括较强的可扩展性和可用性,为定时任务调度的实现提供有力支持,有效地帮助企业实现大部分定时任务调度的需求。
基于Quartz的任务调度系统的设计与实现
这是一篇关于任务调度,Spring MVC,Quartz,ibatis的论文, 主要内容为随着公司规模的逐渐增大,大众点评每日处理的任务数量已达数万级,现有的调度系统Taurus中任务调度常常出现排队现象,无法高效地完成各部门的业务需求。因此结婚部门决定开发出一个部门内的任务调度系统,参考Taurus的系统设计框架,并在其基础上对性能做出改善,独立维护本部门的业务。现有的任务调度系统的实现方式有四种,包括任务调度框架Quartz、JcronTab、ScheduledExecutorService接口和Timer类。相比于只能提供基于开始时间或重复时间间隔的任务调度方式ScheduledExecutorService接口和Timer类,Quartz和JcronTab两种任务调度框架都更能支持复杂的调度需求。Quartz创立较早,代码成熟,资料齐全,且Spring框架集成并简化了 Quartz,可以方便地应用于Web项目中,故选择Quartz作为本系统的任务调度框架。本系统的目标是开发一个基于Quartz的任务调度系统。调度系统和任务服务部署在不同的服务器上,实现调度层和任务层的分离,支持通过Web页面对任务进行CRUD操作,支持动态修改调度任务的调度状态,即时生效,支持任务服务器集群。系统基于SpringMVC+iBATIS框架,前端由Freemarker实现,任务调度由Quartz框架实现,远程通讯使用Http+servlet实现,任务信息固化在MySQL中。系统主要由调度中心和任务服务两部分组成。用户可以在调度模块中增加、修改、查看和删除任务信息,可以查看任务调度日志监控调度状态,可以对加入调度的任务进行暂停调度和恢复调度操作,也可以手动触发任务执行一次,将执行中的任务终止。用户可以设置失败告警阈值,当任务执行失败次数超过阈值,系统将发送告警邮件。任务服务主要负责接收调度模块的请求,执行任务或暂停执行。目前,本系统已经在大众点评结婚部门上线,截止2015年12月份,部门内部已有59个任务,任务得以有序调度,几乎未出现排队现象,后续还会完善功能,提高系统的可用性和稳定性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码驿站 ，原文地址：https://bishedaima.com/lunwen/45184.html
