智慧云车间系统的设计与实现
这是一篇关于数据采集,时序数据,InfluxDB,HDFS,Kafka的论文, 主要内容为随着科技发展和工业制造业企业的转型升级,许多传统企业在生产数据的采集上的弊端不断显现出来,许多生产数据都是通过人工抄表的方式记录,数据准确性及实时性都无法保证;企业中的其他不同设备也常通过不同的系统进行控制,往往不同系统间的数据无法进行关联。而恰逢制造业升级转型时机,为了使企业转型升级和投入产出效率提升,很多企业尝试将生产过程中的海量数据与专家经验结合而实现智能决策;通过先进的现代通信技术,精确捕捉用户需求,实现资源快速高效响应配置。基于上述背景,受企业委托项目要求,本文设计并实现一个采集、处理钢铁冷轧生产及设备数据,进行云端存储及分析的智慧云车间系统。实现对生产相关指标进行全面深入的价值挖掘。论文的主要工作如下:(1)前期调研。与企业沟通调研系统的整体需求,研究和学习了国内外的生产相关系统的现状和使用技术,确定了项目的技术选型。(2)需求分析。对整体需求进行整理分析,确定系统的详细需求,与企业进行确认。将系统进行模块划分,通过数据流图对系统进行边界确定。通过用例图确定系统的功能,通过用例表格仔细分析各功能关键点。(3)设计与实现。对系统进行整体架构设计,使用Spring boot作为业务代码的框架,使用My Batis作为数据持久化框架。在数据库设计部分,采用关系型数据库My SQL存储系统基本信息及监控视频属性信息,采用时间序列数据库Influx DB对实时生产数据进行存储,通过分布式文件系统HDFS对海量监控视频进行存储。通过Kafka实现实时数据推送、实现数据计算分析及海量的视频存储检索。通过设计时间序列数据库的聚合计算,提高粒度较小时的基于计算因子的聚合计算的性能。最终实现了设备的接入管理、生产数据的监控告警、操作日志记录、生产数据的聚合计算分析、车间及其下属内容管理、监控视频查询及在平板端的人脸录入和员工打卡等功能。(4)系统测试与上线运行。搭建测试环境,设计测试用例测试功能性需求,通过压测工具对主要功能进行性能测试,检测各项指标是否达标。对测试中出现的问题,定位问题原因,并进行修改。最终验收结果符合企业预期。系统在实际上线后,各功能运行平稳,页面数据响应正常,满足企业要求。
微服务相关技术研究与应用实践
这是一篇关于微服务,Kafka,ribbon,负载均衡,污水处理管理系统的论文, 主要内容为在互联网时代,社会变革和发展的速度已经达到了前所未有的高度。各类商业模式优化升级,创新层出不穷,各类终端设备与日俱增,款式日新月异,这得益于互联网技术的强力支撑,更激化了互联网技术的进一步快速发展。对互联网技术来讲,商业模式的变更则意味着旧业务逻辑的变更和新需求的增加,终端设备的增加即意味着访问量的增加,除此之外还有系统可靠性、稳定性、可维护性的相关问题,这些都对互联网技术提出了更高的要求。近些年来,业界在架构领域更进一步,提出了微服务架构的概念,将功能模块拆分为小的微服务,进行独立开发测试与部署。相比于传统的单体架构,微服务架构去中心化、高度自治、自动化,微服务带来了更高的灵活性、更低的系统耦合度、更好的规范性等诸多优势,可以更好地满足企业软件研发体系发展需要,提高研发效率,降低维护成本。本文首先介绍了微服务相关概念及常见开发工具组件。其次,在微服务架构中,业务拆分通常伴有数据库分离,但是部分业务需要整合多个微服务的数据,针对此数据集成问题,提出了将Mysql数据库binlog增量消息发送至Kafka并构建集成数据库的解决方案,并通过测试验证了方案的有效性。再次,对微服务架构中客户端负载均衡器ribbon进行了研究分析,在原有负载均衡算法基础上改进了一种动态权重负载均衡算法,该算法周期性地收集CPU剩余计算能力、剩余内存等负载状态信息,再将这些信息换算为负载服务器权重,ribbon根据负载服务器权重分发请求,并通过测试验证了算法的高效性。最后,将微服务架构应用于工业领域实践。利用微服务架构搭建污水处理管理系统,并将数据集成方案和负载均衡方案引入系统实践,通过对系统的测试,验证了微服务架构的有效性。
基于微服务的生鲜商品履约系统的设计与实现
这是一篇关于生鲜商品履约,微服务,Spring Cloud框架,Kafka,GeoHash编码算法的论文, 主要内容为自提门店和生鲜电商平台相结合催生出了线上下单,线下自提的新零售概念,为新冠疫情背景下无接触式购买生鲜商品提供了可能性。生鲜商品履约系统主要利用履约流程信息化的手段实现将生鲜商品按时无缺漏地配送到消费者手中。目前面临了诸多问题和挑战,例如生鲜电商平台在疫情期间迎来了高增长的新用户和高并发的下单量;无接触式的自提点门店就近快速配送高品质生鲜商品的功能尚不清晰;存在开发重复的问题,需要高兼容性平台整合现有生鲜电商功能抽象出商品履约的微服务;为解决上述问题,本文设计并实现了基于微服务的生鲜商品履约系统。本文通过对生鲜商品履约业务进行需求分析,将系统划分为履约管道、履约准备、履约生产和履约配置四大微服务模块。助力用户完成手机下单、门店定位、任务派发、商品分拣、打包配送的生鲜商品履约全流程。系统主要通过向APP客户端、PDA设备和Web端提供可调用接口的方式,来支撑配合生鲜电商平台完成整个商品履约流程。因此,在实际开发时选用Spring Cloud框架实现微服务架构,每个微服务使用Spring Boot框架搭建,使用Java语言编程。选用Kafka消息队列实现不同服务之间的数据传递,以达到服务间消息异步处理的目的。选用MySQL和Redis实现冷热数据存储,并以集群方式部署。通过将MySQL数据库分库分表,将热点数据存储在Redis中,并采用Nginx反向代理服务器技术将前端请求分散到不同服务器上处理。在履约准备微服务中,为满足就近筛选自提点业务特性,采用GeoHash地址编码算法提高了获取门店列表的效率;为优化门店任务分派效率,设计了与实际生产场景相结合的方位池调度策略来优化分拣流程,进而提高了系统的履约能力,确保面对大量用户购买生鲜商品时,系统仍有良好表现。基于微服务的生鲜商品履约系统自集群部署上线以来,平稳运行,测试系统各模块平均响应时间在700毫秒左右,CPU的平均占用率在62%左右,实现了从消费者下单到最终商品履约送达的全流程信息化,助力了生鲜电商平台的业务发展。
在线精准营销运营支撑平台的设计与实现
这是一篇关于精准营销,支撑平台,广告投放,SpringMVC,Kafka,Redis的论文, 主要内容为作者实习的公司是一家提供大数据精准网络营销服务的广告代理公司,随着互联网和传统广告业务的快速发展,网络广告投放业务应运而生,并成为大数据时代收益最明显的产品。与此同时某运营商为了顺应发展趋势,拓展业务实现数据变现、流量变现,与作者实习的公司合作开发一套在线精准营销运营支撑系统,是以广告投放管理系统为核心,以省市多层级运营支撑为特点的大数据产品。本文以此项目为背景,详细阐述了在线精销运营支撑系统的设计与实现过程。首先,本文参考了现有需求方平台的功能设计,通过与公司业务人员积极地沟通,对系统进行了详细的需求分析和可行性分析,最终确定采用B/S模式搭建系统,利用成熟的Spring MVC框架进行设计开发,并将系统主要业务流程涉及的核心分为广告管理、报表中心、财务管理、审核管理、竞价管理五个功能模块,广告投放以实时竞价的形式参与交易,以投放数据为基准实现可视化的数据统计图表。其次,根据需求分析,提出了系统的逻辑结构,描述了各大逻辑部件的功能以及投放管理平台和投放引擎内部数据流动方向,并对系统核心数据库进行了设计。然后,针对需求分析,对系统核心模块进行了详细设计和实现,并对各模块部分界面进行展示。最后,在完成整个系统的开发工作后,采用黑盒测试和压力测试的方法,对本系统采取了功能性和非功能性测试。经测试结果表明,系统满足本文需求分析所提要求。作者全程参与了本项目的设计与开发工作,主要负责系统的后端服务框架设计,以及广告管理模块、报表中心模块、财务管理模块、审核管理模块、竞价流程的设计与开发,基于Spring MVC框架和Kafka、Flume等技术实现了广告从创建到审核再到最终投放获得收益的完整业务体系。该系统目前已经成功上线投入实际使用中,面向运营商和广告主,承担了公司互联网广告投放业务,帮助许多品牌广告主实现专业的互联网广告投放、管理和数据统计等工作,并获取了良好的品牌口碑和市场转化率。本系统的使用拓展了公司的业务,给公司带来了更多的客户和可观的经济效益。
煤矿皮带系统指标流式计算与Shuffle调优算法研究
这是一篇关于分布式系统,流式计算,一致性Hash,SparkStreaming,Kafka的论文, 主要内容为近年来,随着煤矿信息化程度的提高,采、掘、提、运、通等系统设备在生产过程中产生了海量的安全生产管控数据与经营管理数据,在智慧矿山的时代背景下,构建合适的煤矿大数据流式计算平台,挖掘数据内部价值,实现安全生产设备各个绩效指标的流式计算与分析,为煤矿精益化管理提供决策支持,以此探寻有效的降本增效运营模式,对煤矿企业发展具有重要的意义。论文以陕西黄陵双龙矿皮带系统为研究对象,提出了主煤流运输设备指标的流式计算系统,该系统采用Kafka框架完成煤矿皮带系统数据的监听功能,基于Spark Streaming实现了皮带系统报警数据指标、OEE、运力及能耗指标、绩效指标和可靠性指标的流式计算。基于现场的运行数据,实现了指标流式计算结果的可视化。在Spark Streaming计算过程中,针对数据重组(Shuffle)阶段出现数据倾斜,导致集群计算效率降低,提出了基于一致性Hash算法的自定义分区器。测试结果表明,该自定义分区器对Key分布不均的数据进行10个批次的计算,其中数据倾斜批次的计算平均用时较HashPartitioner减少22.9s。耗时Z分数对比证明集群在调用该分区器后,数据倾斜不再是影响计算用时的主要因素。本文所提出的基于一致性Hash算法的自定义分区器可以优化Spark计算中出现的数据倾斜问题,集群面对倾斜数据任务时计算效率提升达16.64%。论文将Kafka、Spark Streaming、SSM等技术相结合,以陕西黄陵双龙煤矿皮带系统为例,建立了一套基于煤矿皮带系统指标流式计算系统,其计算结果可以为煤矿皮带系统设备精益化管理提供数据及决策支持,提高煤矿皮带系统综合效率。研究成果可为陕西黄陵双龙煤矿智慧矿山建设及企业精益管理提供一定的参考价值。
智能广告投放平台系统的设计与实现
这是一篇关于广告投放系统,Java,Spring,Kafka,Redis的论文, 主要内容为如今,广告投放主要可分为两种形式。第一种是线下广告,如海报、广告机轮播图片、屏幕播放视频广告等。另一种是线上广告,如各大网站通过广告平台投放的广告。各种广告投放方式都有各自的优缺点,尤其是线下广告。线下广告一般是一种张贴布置的形式,位置十分灵活,但是缺点是显而易见的,没有目的性,互动性差,不能吸引人的注意。智能广告投放平台系统正是为了解决以上问题而出现的。系统中通过人脸识别技术获取人群数据,根据不同人的属性数据定向投放广告,并且返回广告投放效果,达到更为精准的投放广告的目的。系统主要包括广告投放业务管理系统、广告机监控模块、接口服务模块、广告机前端模块、大数据分析平台五个部分。笔者在项目开发中,参与完成系统整体需求分析、架构设计、详细设计和实现的全过程。独立完成广告投放业务管理系统中四个子模块和广告机监控模块的架构设计和实现。五个模块功能如下:(1)统计分析模块:该模块为系统管理员提供访客统计功能,为商家和广告主提供投放效果分析、单条广告效果分析功能。(2)账户管理模块:为系统管理员提供对广告主和商家的账号管理功能。包括查看账号信息、开通账号户、停用账户、修改账户信息。(3)投放管理模块:该模块为用户提供对投放到平台的广告进行管理的功能。其中包括获取平台中所有广告列表、新建广告、修改广告。(4)计费管理模块:该模块为用户提供费用查询管理功能。其中包括返回商家分成信息、获取分成信息明细、获取广告计费信息、获取单条广告费用明细、确认收款五个功能。(5)广告机监控模块:该模块实现远程地对分布在各个不同位置的平台中广告机的管理。其中包括查询广告机的信息,修改广告机的配置信息。系统使用Spring、SpringMVC、Mybatis框架为基础。前端Web界面,使用VUE框架开发。业务数据存储在MySQL数据库中,Redis保存缓存数据。图片储存在分布式图片存储系统FastDFS中。Kafka保存日志数据。基于Netty框架、ZooKeeper和RabbitMQ消息队列,搭建分布式集群监测服务模块,用于保证系统的可靠性,通过心跳方式监控广告机在线状态,修改广告机的一些配置信息。
电商交易数据实时计算平台设计与实现
这是一篇关于实时计算,Storm,Binlog,Canal,Kafka的论文, 主要内容为实时计算又称流处理,是一个从数据产生,就即时采集计算的过程,能够满足更快运算和分析的需求。大数据技术的出现和发展,为海量数据的处理提供新的解决方案。最初基于Hadoop构建的离线批处理系统,通过HDFS存储,Map Reduce、Hive计算的模式来实现。目前,这套模式通常用来构建大型数据仓库。传统的基于数据仓库的查询统计,首先通过ETL技术将各个业务系统的数据同步到数据仓库,形成ods层数据集,在此基础上进行数据开发。数据仓库存储的往往是T-1的数据,无法满足对数据实时处理的需求。虽然可以将数据的调度时间调整到30分钟到数小时不等,这种方式具有高吞吐量、耗时长的特点,可以满足对时效性要求不高的离线分析报表的需求。但是,越来越多的应用场景通过离线批处理的方式已经满足不了需求,企业希望能够对流数据进行在线实时处理和即时响应,因为这些数据的价值是有时效性的。而实时计算技术的出现和发展,加快了数据的处理过程,让数据产生更大的价值。本文基于蓝月亮对实时处理电商交易数据、埋点数据、生产制造数据等的需求,探讨了构建统一的大数据实时计算平台的设计和实现过程。实时计算平台处理数据的流程如下:首先通过canal解析My SQL binlog日志写到本地文件,接着Flume进行采集写入分布式消息队列Kafka,最后由分布式实时计算框架Storm拉取Kafka上的数据进行计算处理,计算结果写入到高速缓存组件Redis中。同时,平台还构建了分布式索引服务elasticsearch,来满足实时索引的需求,以及对实时计算过程中遇到的脏数据进行存储和后续分析。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码项目助手 ，原文地址：https://bishedaima.com/lunwen/45333.html
