基子Spark的公路管理和预警平台的设计与实现

这是一篇关于路网运行管理,应急处置,Spark,流量预测的论文, 主要内容为近年来,各省社会经济快速发展,交通运输需求增长迅猛,使公路管理部门在公路运输保通保畅工作上面临着巨大挑战,对公路主管部门在路网运行管理与应对突发事件的能力提出了更高的要求。为此,本文以公路交通管理为目的,结合目前国内外在交通应急管理方面的先进经验,综合应用分布式技术、大数据处理技术、视频监控技术、深度学习与Java EE技术设计开发了公路管理和预警平台,在满足实际需求的前提下实现便捷化交通管理。平台分为平台信息管理、应急管理与处置、路网运行监测与公路信息服务四个子系统模块。其中,平台信息管理提供基础数据与人员信息管理;应急管理与处置提供风险隐患信息、应急资源信息管理以及应急统计分析;路网运行监测以数据可视化方式为管理人员提供直观便捷的交通流量实时数据与流量数据统计分析结果显示,并设计实现流量预测功能;公路信息服务则提供了新闻信息发布与公路事件管理功能。本文根据交通车流量的时效性与流数据特性,提出应用基于Spark平台下的Spark Streaming组件对数据进行处理,以保证数据的可靠性、降低系统之间的耦合度。数据通过Kafka消息系统传输至Spark集群处理,并将实时数据依照不同分类计算给定时间间隔内流量。针对短时交通流量具有的周期性与趋势性,提出基于Hyper Networks的流量预测方法,通过以天为时间序列作为超编码层的输入获得过去时间的学习经验,再与以半小时为时间序列的流量序列作为推理编码层的输入构建模型获得预测结果。本系统作为工程项目目前已成功通过测试阶段,各个功能模块稳定运行,具有良好的可靠性与稳定性。该系统的应用必将提高公路主管部门的路网运行管理与应对突发事件的能力,同时也将为公路畅通保障提供助力。

星地融合网络中基于协同流量预测的路由算法研究与实现

这是一篇关于星地融合网络,流量预测,深度学习,路由算法的论文, 主要内容为得益于低地球轨道(Low Earth Orbit,LEO)卫星网络具有传播损耗低、数量级大、较少受地理环境的限制、提供全球无缝覆盖等优点,卫星网络和地面网络紧密结合的星地融合网络被提出,并且在工业界和学术界都受到了广泛的关注。随着星地融合网络可承载的业务不断增多,构建实时、高效、均衡的路由算法直接关系着网络服务质量(Quality of Service,QoS),是星地融合网络发展的必然要求。但是,LEO卫星网络的拓扑结构动态变化频繁,资源与流量分布不均衡给星地融合网络中路由算法的设计带来挑战。目前已有的研究大多数是将地面网络资源和卫星网络资源分开考虑的,往往由两个网络各自的路由结果组合而成,难以满足用户的端到端QoS需求,并且是在网络已经发生拥塞时才被动地执行流量控制措施,没有充分利用卫星流量的历史数据。针对当前星地融合网络路由算法存在的不足,本文提出基于流量预测的负载均衡与QoS路由算法(Load Balancing and QoS Routing basedon TrafficPrediction,TP-LBQR)。首先,通过预测卫星节点在下一时刻的流量,反映卫星负载情况,从而选择更可靠的下一跳路由。由于传统的流量预测算法在预测精度与效率上都有所欠缺,本文提出了基于堆叠降噪自编码器(Stacked Denoising Auto-encoder,SDAE)的深度学习流量预测算法,并且考虑到卫星节点的计算存储能力有限,提出了卫星-地面站协同流量预测的边缘卸载模型(Cooperative Traffic Prediction Model,CTPM),最小化模型预测所需时延。其次,在星地融合网络中引入软件定义网络(Software Defined Network,SDN)可以有效地解决异构网络的管理问题,使得端到端路由成为可能。因此本文建立了基于SDN的星地融合网络场景,并根据LEO卫星特点定义链路代价函数,利用流量预测结果定义负载权重因子,然后采用蚁群算法对路由进行求解,得到满足负载均衡与QoS需求的端到端路径。最后,本文基于TP-LBQR路由算法,设计并实现了一个仿真验证系统。首先对该系统进行了需求分析,并设计了系统架构和数据库,在此基础上介绍了各模块的详细设计,包括网络拓扑展示模块、流量预测模块和路由选择模块。前端使用Vis.js绘制可视化拓扑图,jQuery实现前后端ajax交互,以及JSP和CSS/HTML提供可视化界面与用户交互功能,后台开发采用SSM框架,数据库采用MySQL。最后介绍了系统的测试情况,通过功能测试和性能测试,保证系统的稳定性与可用性,表明该系统能够帮助运维人员在星地融合网络中科学地规划路由。

通信运营商业务支撑系统的设计与实现

这是一篇关于流量预测,宽度学习,随机森林,特征工程,数据挖掘的论文, 主要内容为新一代通信技术迅猛发展,移动智能设备日益普及。移动通信网络正不断渗透到人们生活的各个方面,已成为当今社会重要的基础信息设施。面对日益复杂的网络环境和指数级增长的网络数据流量,为有效避免网络拥挤和堵塞网络,通信运营商业务支撑系统需要花费大量的时间和资源来监控网络实时流量以应对不同的突发状况。课题基于HS市通信运营商网络基站的真实流量数据,研究国内外流量预测的相关理论和算法思想,在通信运营商业务支撑系统基础上构建宽度森林模型进行流量预测管理。该模型通过在宽度学习(Broad Learning System,BLS)框架中引入随机森林(Random Forest,RF)进行学习,从而提前预测网络状况可能发生的变化,及早采取应对措施,以确保稳定的网络质量。本论文的主要研究工作和内容如下:(1)系统需求分析:首先从技术可行性、经济可行性和操作可行性三个方面对系统进行可行性分析研究。然后根据通信运营商的具体业务需求将系统划分为监控管理、业务管理、分析管理、运维管理和资源管理5个业务子系统模块。(2)模型设计:模型采用的数据集来源于某运营商真实基站所采集到的网络流量数据,但原始数据不能直接输入模型中,需要对数据进行删除异常值、数据转化、缺失值填充以及特征提取和特征选择等操作。最后输入到宽度森林模型进行预测,结果为某运营商预测基站流量数据的变化,具有实际意义。(3)系统实现:采用主流的Vue+Spring Boot前后端分离开发模式,依托B/S架构,使用Spring MVC和My Batis技术构建系统。使用ECharts图库对Oracle数据进行可视化,并部署大数据处理平台进行数据存储和整合,为模型构建提供可靠的数据资源。(4)系统测试:针对实现的系统主要从功能性和非功能性两个方面进行测试,检验系统的功能是否有效,在安全性、兼容性、稳定性等方面是否符合期望。测试结果表明通信运营商业务支撑系统各方面均符合用户预期。通信运营商业务支撑系统通过对过往数据进行数据处理,结合数据存储技术和机器学习算法对不同基站流量数据进行实时预测,通过不断优化模型,实现基站网络流量的实时预测效果,使运营商提前预测到网络流量的相关变化,确保良好的服务质量。

基于SDN的IP+光智能协同系统的设计与实现

这是一篇关于SDN,流量预测,神经网络,微服务架构的论文, 主要内容为在互联网高速发展的时代背景下,随着人们对网络的需求日益增多,网络中存在的问题也越来越多。针对网络流量相关的问题,比如:网络中流量周期性变化导致的带宽不足、网络中特定时间的典型事件(如双十一)导致的带宽不足,以及网络中可能存在的资源浪费等,目前业界还没有比较好的解决方案。本文对SDN系统、网络流量预测以及路径计算算法进行了研究综述。虽然如今已经有比较成熟的流量监控系统和用于调整网络的SDN产品,但是将流量监控与网络调整业务下发结合在一起的产品却并未出现。因此,本文提出了一个基于SDN的IP+光智能协同系统作为解决方案。该系统采用微服务架构,分为智能协同、流量预测和路径计算三大模块。智能协同为系统的核心模块,该模块为用户提供查看网络拓扑、流量监控、网络调整事件查询、需求事件管理等功能,并且能够根据用户的系统配置,定时调用流量预测模块与路径计算模块。流量预测模块通过将获取到的真实流量传入训练好的神经网络模型计算出预测流量。路径计算模块则通过路径计算算法根据传入的网络调整请求参数计算出调整路径。由智能协同模块将真实流量与预测流量存储,将获取到的调整路径构造为网络调整事件。最后智能协同模块将自动下发已调度的网络调整事件业务。IP+光智能协同系统通过流量预测并自动生成网络调整事件,使得用户可以根据业务量及其趋势预测灵活调整网络资源的占用,充分利用已有的资源。该系统可应用于各种网络资源调度的场合。

通信运营商业务支撑系统的设计与实现

这是一篇关于流量预测,宽度学习,随机森林,特征工程,数据挖掘的论文, 主要内容为新一代通信技术迅猛发展,移动智能设备日益普及。移动通信网络正不断渗透到人们生活的各个方面,已成为当今社会重要的基础信息设施。面对日益复杂的网络环境和指数级增长的网络数据流量,为有效避免网络拥挤和堵塞网络,通信运营商业务支撑系统需要花费大量的时间和资源来监控网络实时流量以应对不同的突发状况。课题基于HS市通信运营商网络基站的真实流量数据,研究国内外流量预测的相关理论和算法思想,在通信运营商业务支撑系统基础上构建宽度森林模型进行流量预测管理。该模型通过在宽度学习(Broad Learning System,BLS)框架中引入随机森林(Random Forest,RF)进行学习,从而提前预测网络状况可能发生的变化,及早采取应对措施,以确保稳定的网络质量。本论文的主要研究工作和内容如下:(1)系统需求分析:首先从技术可行性、经济可行性和操作可行性三个方面对系统进行可行性分析研究。然后根据通信运营商的具体业务需求将系统划分为监控管理、业务管理、分析管理、运维管理和资源管理5个业务子系统模块。(2)模型设计:模型采用的数据集来源于某运营商真实基站所采集到的网络流量数据,但原始数据不能直接输入模型中,需要对数据进行删除异常值、数据转化、缺失值填充以及特征提取和特征选择等操作。最后输入到宽度森林模型进行预测,结果为某运营商预测基站流量数据的变化,具有实际意义。(3)系统实现:采用主流的Vue+Spring Boot前后端分离开发模式,依托B/S架构,使用Spring MVC和My Batis技术构建系统。使用ECharts图库对Oracle数据进行可视化,并部署大数据处理平台进行数据存储和整合,为模型构建提供可靠的数据资源。(4)系统测试:针对实现的系统主要从功能性和非功能性两个方面进行测试,检验系统的功能是否有效,在安全性、兼容性、稳定性等方面是否符合期望。测试结果表明通信运营商业务支撑系统各方面均符合用户预期。通信运营商业务支撑系统通过对过往数据进行数据处理,结合数据存储技术和机器学习算法对不同基站流量数据进行实时预测,通过不断优化模型,实现基站网络流量的实时预测效果,使运营商提前预测到网络流量的相关变化,确保良好的服务质量。

面向互联网广告投放的互联网流量预测

这是一篇关于互联网广告投放,流量预测,循环神经网络的论文, 主要内容为在互联网营销中,对于品牌商来说,互联网广告投放经常遇到的问题是,广告位流量数据是难以获取。本文对互联网流量预测,结合传统营销理论,结果用于广告位选择和成本预算。本文将综合应用文献研究法、数量研究法、模拟法对品牌方在对互联营销中的研究,在实际生产运营当中解决品牌传播中遇到的信息不对称导致营销成本不可控的问题。本文阐述了互联网的发展过程,从而互联网广告应运而生。在互联网广告投放过程中,涉及到广告的传播模式、计费模式等,在综合各种影响因素分析下,发现互联网投放存在着一些问题。互联网广告是可追踪的,但是由于品牌方和广告平台存在着信息不对称的情况,品牌方难以准确得到广告平台流量信息。互联网用户在上网的时候会产生大量的数据,本文根据维基百科产生的浏览日志数据,而这些日志数据是通过时间序列数据形式存放的,通过对这些数据向上汇总,得出每天、每个页面的浏览量,再通过正则化变换,结合LSTM与GRU、seq2seq模型、注意力机制深入研究,通过循环神经网络进行数据挖掘。最终,通过挖掘模型对互联网平台浏览量进行预测,在极高的预测准确率基础上,为品牌方提供一段时间段内的流量预测结果,此举打破互联网广告平台的信息壁垒。通过类似的方法,品牌方可以通过预测某一个可获取数据的互联网广告平台或者自有电商平台的流量,结合企业本身实际需求,在价格最优的情况下选择更大的互联网广告曝光量,在投放品牌曝光广告前提前锁定优质广告资源位置。

基子Spark的公路管理和预警平台的设计与实现

这是一篇关于路网运行管理,应急处置,Spark,流量预测的论文, 主要内容为近年来,各省社会经济快速发展,交通运输需求增长迅猛,使公路管理部门在公路运输保通保畅工作上面临着巨大挑战,对公路主管部门在路网运行管理与应对突发事件的能力提出了更高的要求。为此,本文以公路交通管理为目的,结合目前国内外在交通应急管理方面的先进经验,综合应用分布式技术、大数据处理技术、视频监控技术、深度学习与Java EE技术设计开发了公路管理和预警平台,在满足实际需求的前提下实现便捷化交通管理。平台分为平台信息管理、应急管理与处置、路网运行监测与公路信息服务四个子系统模块。其中,平台信息管理提供基础数据与人员信息管理;应急管理与处置提供风险隐患信息、应急资源信息管理以及应急统计分析;路网运行监测以数据可视化方式为管理人员提供直观便捷的交通流量实时数据与流量数据统计分析结果显示,并设计实现流量预测功能;公路信息服务则提供了新闻信息发布与公路事件管理功能。本文根据交通车流量的时效性与流数据特性,提出应用基于Spark平台下的Spark Streaming组件对数据进行处理,以保证数据的可靠性、降低系统之间的耦合度。数据通过Kafka消息系统传输至Spark集群处理,并将实时数据依照不同分类计算给定时间间隔内流量。针对短时交通流量具有的周期性与趋势性,提出基于Hyper Networks的流量预测方法,通过以天为时间序列作为超编码层的输入获得过去时间的学习经验,再与以半小时为时间序列的流量序列作为推理编码层的输入构建模型获得预测结果。本系统作为工程项目目前已成功通过测试阶段,各个功能模块稳定运行,具有良好的可靠性与稳定性。该系统的应用必将提高公路主管部门的路网运行管理与应对突发事件的能力,同时也将为公路畅通保障提供助力。

通信运营商业务支撑系统的设计与实现

这是一篇关于流量预测,宽度学习,随机森林,特征工程,数据挖掘的论文, 主要内容为新一代通信技术迅猛发展,移动智能设备日益普及。移动通信网络正不断渗透到人们生活的各个方面,已成为当今社会重要的基础信息设施。面对日益复杂的网络环境和指数级增长的网络数据流量,为有效避免网络拥挤和堵塞网络,通信运营商业务支撑系统需要花费大量的时间和资源来监控网络实时流量以应对不同的突发状况。课题基于HS市通信运营商网络基站的真实流量数据,研究国内外流量预测的相关理论和算法思想,在通信运营商业务支撑系统基础上构建宽度森林模型进行流量预测管理。该模型通过在宽度学习(Broad Learning System,BLS)框架中引入随机森林(Random Forest,RF)进行学习,从而提前预测网络状况可能发生的变化,及早采取应对措施,以确保稳定的网络质量。本论文的主要研究工作和内容如下:(1)系统需求分析:首先从技术可行性、经济可行性和操作可行性三个方面对系统进行可行性分析研究。然后根据通信运营商的具体业务需求将系统划分为监控管理、业务管理、分析管理、运维管理和资源管理5个业务子系统模块。(2)模型设计:模型采用的数据集来源于某运营商真实基站所采集到的网络流量数据,但原始数据不能直接输入模型中,需要对数据进行删除异常值、数据转化、缺失值填充以及特征提取和特征选择等操作。最后输入到宽度森林模型进行预测,结果为某运营商预测基站流量数据的变化,具有实际意义。(3)系统实现:采用主流的Vue+Spring Boot前后端分离开发模式,依托B/S架构,使用Spring MVC和My Batis技术构建系统。使用ECharts图库对Oracle数据进行可视化,并部署大数据处理平台进行数据存储和整合,为模型构建提供可靠的数据资源。(4)系统测试:针对实现的系统主要从功能性和非功能性两个方面进行测试,检验系统的功能是否有效,在安全性、兼容性、稳定性等方面是否符合期望。测试结果表明通信运营商业务支撑系统各方面均符合用户预期。通信运营商业务支撑系统通过对过往数据进行数据处理,结合数据存储技术和机器学习算法对不同基站流量数据进行实时预测,通过不断优化模型,实现基站网络流量的实时预测效果,使运营商提前预测到网络流量的相关变化,确保良好的服务质量。

通信运营商业务支撑系统的设计与实现

这是一篇关于流量预测,宽度学习,随机森林,特征工程,数据挖掘的论文, 主要内容为新一代通信技术迅猛发展,移动智能设备日益普及。移动通信网络正不断渗透到人们生活的各个方面,已成为当今社会重要的基础信息设施。面对日益复杂的网络环境和指数级增长的网络数据流量,为有效避免网络拥挤和堵塞网络,通信运营商业务支撑系统需要花费大量的时间和资源来监控网络实时流量以应对不同的突发状况。课题基于HS市通信运营商网络基站的真实流量数据,研究国内外流量预测的相关理论和算法思想,在通信运营商业务支撑系统基础上构建宽度森林模型进行流量预测管理。该模型通过在宽度学习(Broad Learning System,BLS)框架中引入随机森林(Random Forest,RF)进行学习,从而提前预测网络状况可能发生的变化,及早采取应对措施,以确保稳定的网络质量。本论文的主要研究工作和内容如下:(1)系统需求分析:首先从技术可行性、经济可行性和操作可行性三个方面对系统进行可行性分析研究。然后根据通信运营商的具体业务需求将系统划分为监控管理、业务管理、分析管理、运维管理和资源管理5个业务子系统模块。(2)模型设计:模型采用的数据集来源于某运营商真实基站所采集到的网络流量数据,但原始数据不能直接输入模型中,需要对数据进行删除异常值、数据转化、缺失值填充以及特征提取和特征选择等操作。最后输入到宽度森林模型进行预测,结果为某运营商预测基站流量数据的变化,具有实际意义。(3)系统实现:采用主流的Vue+Spring Boot前后端分离开发模式,依托B/S架构,使用Spring MVC和My Batis技术构建系统。使用ECharts图库对Oracle数据进行可视化,并部署大数据处理平台进行数据存储和整合,为模型构建提供可靠的数据资源。(4)系统测试:针对实现的系统主要从功能性和非功能性两个方面进行测试,检验系统的功能是否有效,在安全性、兼容性、稳定性等方面是否符合期望。测试结果表明通信运营商业务支撑系统各方面均符合用户预期。通信运营商业务支撑系统通过对过往数据进行数据处理,结合数据存储技术和机器学习算法对不同基站流量数据进行实时预测,通过不断优化模型,实现基站网络流量的实时预测效果,使运营商提前预测到网络流量的相关变化,确保良好的服务质量。

基于J2EE的企业信息管理系统基础框架的设计与实现

这是一篇关于Java,J2EE,JPA,组件式开发,流量预测的论文, 主要内容为J2EE(Java 2 Platform Enterprise Edition)是企业信息管理系统主流的技术解决方案之一。在J2EE领域中,框架简化了系统开发过程,提高了开发效率,但不同的框架各有优缺点。为了近一步提高企业信息管理系统的开发效率,本文研究了当前的主流框架,对各种框架的优点进行了整合,增加了一些功能模块,设计并实现了一套基于J2EE的企业信息管理系统的基础框架。本框架的主要特色如下:1)操纵数据库只用编写Java接口,框架可自动生成这些接口的实现类;2)自动生成增、删、改、查数据库表中记录的全部代码;3)重写了Spring Data JPA框架,实现了其常用功能,并提升了运行效率;4)自动化分页;5)前端组件式开发;6)自动化的前后端数据校验;7)数据绑定;8)安全机制:登录验证、访问权限的验证和并发登录人数控制;9)系统监控和分析;10)信息化系统的基础功能模块;11)基于离群点检测、智能优化算法、人工神经网络的流量预测。使用此框架可大大减少开发时所需的代码量,提高系统的开发效率,缩短开发周期,减少开发成本。

星地融合网络中基于协同流量预测的路由算法研究与实现

这是一篇关于星地融合网络,流量预测,深度学习,路由算法的论文, 主要内容为得益于低地球轨道(Low Earth Orbit,LEO)卫星网络具有传播损耗低、数量级大、较少受地理环境的限制、提供全球无缝覆盖等优点,卫星网络和地面网络紧密结合的星地融合网络被提出,并且在工业界和学术界都受到了广泛的关注。随着星地融合网络可承载的业务不断增多,构建实时、高效、均衡的路由算法直接关系着网络服务质量(Quality of Service,QoS),是星地融合网络发展的必然要求。但是,LEO卫星网络的拓扑结构动态变化频繁,资源与流量分布不均衡给星地融合网络中路由算法的设计带来挑战。目前已有的研究大多数是将地面网络资源和卫星网络资源分开考虑的,往往由两个网络各自的路由结果组合而成,难以满足用户的端到端QoS需求,并且是在网络已经发生拥塞时才被动地执行流量控制措施,没有充分利用卫星流量的历史数据。针对当前星地融合网络路由算法存在的不足,本文提出基于流量预测的负载均衡与QoS路由算法(Load Balancing and QoS Routing basedon TrafficPrediction,TP-LBQR)。首先,通过预测卫星节点在下一时刻的流量,反映卫星负载情况,从而选择更可靠的下一跳路由。由于传统的流量预测算法在预测精度与效率上都有所欠缺,本文提出了基于堆叠降噪自编码器(Stacked Denoising Auto-encoder,SDAE)的深度学习流量预测算法,并且考虑到卫星节点的计算存储能力有限,提出了卫星-地面站协同流量预测的边缘卸载模型(Cooperative Traffic Prediction Model,CTPM),最小化模型预测所需时延。其次,在星地融合网络中引入软件定义网络(Software Defined Network,SDN)可以有效地解决异构网络的管理问题,使得端到端路由成为可能。因此本文建立了基于SDN的星地融合网络场景,并根据LEO卫星特点定义链路代价函数,利用流量预测结果定义负载权重因子,然后采用蚁群算法对路由进行求解,得到满足负载均衡与QoS需求的端到端路径。最后,本文基于TP-LBQR路由算法,设计并实现了一个仿真验证系统。首先对该系统进行了需求分析,并设计了系统架构和数据库,在此基础上介绍了各模块的详细设计,包括网络拓扑展示模块、流量预测模块和路由选择模块。前端使用Vis.js绘制可视化拓扑图,jQuery实现前后端ajax交互,以及JSP和CSS/HTML提供可视化界面与用户交互功能,后台开发采用SSM框架,数据库采用MySQL。最后介绍了系统的测试情况,通过功能测试和性能测试,保证系统的稳定性与可用性,表明该系统能够帮助运维人员在星地融合网络中科学地规划路由。