9篇关于Flink的计算机毕业论文

今天分享的是关于Flink的9篇计算机毕业论文范文, 如果你的论文涉及到Flink等主题,本文能够帮助到你

文章推荐系统关键算法设计与实现

这是一篇关于推荐系统,Spark,Flink,融合策略,推荐服务,海量数据的论文, 主要内容为互联网时代,生活节奏加快,在线浏览与碎片化阅读成为人们日常获取信息的主要渠道之一。然而,当前大数据背景下的海量信息无法满足用户快速获取高质量、高价值信息的需求,因此文章推荐系统应运而生。本论文通过对在线教育平台业务进行大数据统计分析和信息搜集,设计并实现了一个文章推荐系统:基于个性化推荐技术对拟推荐结果进行分类排序,从而得出用户兴趣偏好,最终把推荐结果推送给相应用户。在推荐系统中,当用户以及推荐物品数目增大到一定程度时,将遇到可扩展性、冷启动、实时性等挑战。为解决这些问题,本论文设计并实现了文章推荐系统的召回算法、动态加权特征融合算法、排序算法,主要创新性工作总结如下:(1)设计了基于时间衰减的用户行为打分机制,以此构建高质量的用户画像,提高了推荐结果的准确性。(2)采用了多路召回策略,包括协同过滤召回、内容召回、实时计算召回、热门文章和新文章召回。实现时,离线模块采用Spark计算引擎,实时模块采用Flink计算引擎,提高了推荐系统的时效性和用户满意度。(3)提出了动态加权特征融合算法,将召回的候选集融合后作为Wide&Deep算法的输入,以此训练排序算法模型。相较与未使用动态加权特征融合算法,改进之后的Wide&Deep算法准确率提高了 11.2%。综上,论文设计并实现了文章推荐系统,提出了动态加权特征融合算法,结合Wide&Deep算法作为推荐系统的推荐模型,其结果优于其他传统特征融合算法。采用优化后的模型作为线上使用模型,最终达到千人千面的用户推荐效果。

基于Flink框架的电商平台实时数仓的设计与实现

这是一篇关于大数据,Flink,实时数仓,数据分层设计,可视化大屏的论文, 主要内容为随着互联网的发展,线上购物已经融入人们的日常生活,相比传统的购物模式,网络购物的规模逐步扩大,而且电商平台多样化的信息展示也极大地影响着消费者的消费意愿。电商平台若能够及时把握消费者的消费心理和消费行为,对平台信息做出调整,将会提高消费者的购买意愿。实时数仓是一个能够对平台数据进行实时聚合处理的数仓服务,该服务还可以对接可视化工具实现业务主题指标数据的实时展示。因此为电商平台搭建实时数仓,能够增强与消费者的良性互动,以便于预测出电商行业消费趋势,能够为电商平台的发展决策提供切实的数据支持。本文拟实现电商平台核心业务功能,基于Flink流数据处理框架为电商平台搭建实时数仓,通过数据分层设计实现数据的实时收集和处理,并对计算结果进行主题指标统计,最终实现可视化大屏展示。在技术实现过程中,一方面,将使用模板方法设计模式对Flink执行算子的结构进行改造,使其能兼容多维度关联,实现数据流的动态关联;另一方面,使用配置分离设计并对数据序列化进行重构改造,使程序流程能够进行多重分流,实现业务数据的动态分流;通过这两个方面的技术优化,弥补了Flink算子在动态执行方面灵活度不足的缺点。本文将结合电商平台核心的业务场景和数据结构,为电商平台提供一套可行的数据处理和可视化展示方案,并且从底层设计实现的角度,展示了实时数仓和可视化大屏构建的技术细节,通过展示技术细节间接增强了Flink实时数仓的技术可信度。

面向深度学习的低代码开发平台的设计与实现

这是一篇关于深度学习,低代码,领域驱动设计,可视化编程,Slurm,Flink的论文, 主要内容为近年来,人工智能技术不仅在众多领域取得了一系列进展,而且在许多行业都取得了良好的落地效果,由于其巨大的应用前景,越来越多的企业投身到人工智能相关技术的开发之中。深度学习作为人工智能的关键技术,吸引了众多开发者的关注,然而深度学习的开发却面临着技术门槛高、开发效率低、后期难以维护等诸多难题,一方面深度学习要求开发者不仅要有较强的编程和数学基础,还需要对机器学习和深度学习的相关理论有较深的理解;另一方面深度学习开发过程繁琐复杂,需要开发者进行大量重复的代码编写和调试工作,这些因素都不利于深度学习技术的推广。因此,本文将低代码开发的思想应用到深度学习开发领域,设计并实现了面向深度学习的低代码开发平台,提供了从深度学习算法可视化开发到作业管理、信息实时统计的一站式开发服务。本文的主要工作和创新点可以分为如下部分:(1)设计开发了基于领域驱动设计的高可用微服务架构。采用领域驱动设计作为微服务架构设计的指导思想,通过战略设计和战术设计,完成了平台各领域边界的合理划分以及领域模型的构建,并基于领域模型将业务架构映射到系统架构,实现了系统各个模块间的充分解耦。每个微服务模块内部通过分层架构提高了系统的可维护性,并基于Ngnix、Spring Cloud Gateway、Nacos、Kafka、gRPC 等技术进一步提高了系统的稳定性和可用性。(2)设计实现了易用的深度学习可视化开发方法。基于对深度学习建模流程的分析,定义了一种面向深度学习的数据流图模型,将完整的深度学习算法逻辑转化为可视化的有向无环图,用户只需在Web前端通过简单的点选、拖拽、连线以及配置等可视化操作,即可完成深度学习算法的开发。基于数据流图模型,设计实现了一种基于模板的模块化代码翻译算法,实现了数据流图向完整可执行Python代码的高效和准确翻译。(3)开发实现了作业的全生命周期管理。基于Slurm这一集群管理和作业调度系统,设计并实现了针对深度学习作业的全生命周期管理机制,实现了自定义资源分配、作业提交、作业终止、作业运行状态和集群状态的实时监控以及作业运行日志和生成代码的下载等功能。(4)开发实现了基于流式计算的信息实时统计。针对传统信息统计中存在的时效性差和性能低下等问题,将信息统计模块与平台其他功能模块通过Kafka消息队列解耦,并基于Flink这一开源流处理引擎,通过实时消费和处理作业信息数据流,实现了对用户作业状态和窗口时间内用户平均资源占用情况等信息的实时统计。

基于SSM框架的网上商城系统的设计与实现

这是一篇关于网上商城,SSM,Guava,Flink的论文, 主要内容为近年来,在PC普及的背景下,电子商务作为依托于互联网存在的一种新型的商业模式,近十年实现了突飞猛进的发展。电子商务由于低成本、高效率、方便快捷的特性,被广泛应用于网上商城、网络咨询、电子邮件、网络订购等众多领域。并且在这些领域当中获得了巨大的成功。而且随着时间的推移,发展越发迅速,其中网上商城的发展最为引人注目。SSM框架作为Web应用开发的框架组合,涵盖了控制层、持久层、展示层的各个方面,对开发者来说上手简单,构建方便,并且有较好的扩展性和移植性。基于以上原因本文以SSM框架为基础,进行商城系统的开发。本文主要叙述了基于SSM框架的网上商城系统的开发过程。从技术开发的角度分析,通过对现今电子商务和广西移动网上商城系统的分析与研究,对各项需求进行了整合,最后设计了一个基于SSM的网上商城系统。在系统开发当中采用的开发语言是java,使用的数据库是mysql数据库,接口测试工具采用的是谷歌插件Restlet Client,本地缓存使用Guava缓存,以及Flink技术。并且为了实现管理的简洁性,将系统分为前后台两个系统。用户登陆前台子系统,可以进行商品的浏览、商品的购买、加入商品到购物车以及商品订单支付等操作。用户可以对自己的基本信息进行修改,亦可以对购买的商品进行评价、或者是对自己的订单进行查询或者删除操作。除此之外用户还可以和客服进行交流沟通,咨询产品的一些更详细信息,实现方便快捷的购物。系统的支付模块对接的是支付宝和微信,采用的支付方式是扫码支付,可以方便客户使用。后台子系统的使用者主要是运营人员,后台子系统主要包括商品、订单、会员、支付、广告、卡号等几个功能模块。同时系统具有敏感词屏蔽功能、营销案办理等功能,以保证系统的完整性。从论述过程的角度分析,本文首先对商城系统的整体需求进行了分析和研究,明确了系统所需要的功能模块需求和非功能性需求,并通过用例图和流程图将之展示出来。其次使用类图和序列图将具体的实现过程表示出来。再次对系统进行了功能性测试和性能测试,并使用测试用例和结果图表的方式将最终的测试结果表现出来。最后,本论文对系统的不足之处加以分析,并针对性地提出了改进思路,总结了全文并对下一步的需求工作进行了说明。本文基于SSM框架完整的实现了一个网上商城系统,可以为用户提供购买商品、话费充值等多个功能。从测试结果来看,系统完整实现了所需功能,而且具有一定的稳定性和可靠性,并能够为用户提供良好的用户体验。总之,本系统基本符合客户的需求,并达到了预期的目标。

基于Flink的Lemon Box电商平台的设计与实现

这是一篇关于Flink,补剂,个性化的论文, 主要内容为近年来,互联网行业整体增速放缓,总市值大幅波动,投资活跃度也大幅下降。越来越多的投资人、投资团体趋向于教育、医疗等行业。以智能零售、社交电商、短视频为代表的新模式快速兴起。保健营养品在中国已成为了最重要的消费品类之一,并且增长迅速。Lemon Box电商平台是一种提供补充剂个性化定制服务的电商平台,和许多营养保健品牌不同的是,Lemon Box的补充剂并非是按瓶单种售卖,而是根据用户的饮食、生活习惯和健康状况,为用户推荐合适的混合补充剂,并提供营养建议。在国内类似于Lemon Box这样的定制化模式还很少见,中国消费者普遍更习惯按功能需求购买,但往往达不到期望的使用效果。因此,这种Lemon Box个性化定制服务更符合人种、个体的需要,可以更好的为广大用户提供服务。结合目前流行的技术及公司实际选型需要,本论文进行了需求分析、概要设计、详细设计和开发实现基于Flink的Lemon Box电商平台的整体过程的描述。其中,Flink是开源流处理框架。该项目是C/S结构,平台开发运用Spring Boot、Flink、Spark、Hibernate等成熟稳定的框架技术。通过将所有服务部署在阿里云和AWS上,以及各个业务模块基于Docker和Kubernetes独立部署,来支持系统快速构建,增强了业务组件的可重用性、易维护性和可扩展性。通过消息队列解耦通讯,将业务数据持久化在Mongo DB和My SQL上,用户行为数据存储在Click House和HBase中。为了提供补剂个性化定制服务,设计并实现了补剂推荐算法。在项目的开发实现过程中,本人主要参与了客户端的个性化问卷模块和营销模块、用户和订单管理系统和数据管理系统的开发以及后期的测试工作。该平台实现了在微信小程序的基础上开发业务组件,利用服务和组件的形式进行开发,具有良好的扩展性,系统后期维护相对简单。本论文中的项目现已投入市场使用。

基于SSM的实时计算任务管理平台的设计与实现

这是一篇关于Flink,实时计算,实时数据仓库的论文, 主要内容为随着移动互联网的兴起,人们面对的数据信息开始呈几何趋势增长,许多企业发现了其中的商业价值,想从海量数据中挖掘有用的信息以支撑商业活动。数据分析人员、企业管理人员趋向获得实时的数据变化,然而,面对大规模的流式数据,常规的分析手段和分析框架对资源使用效率低下、计算结果不够及时准确、开发周期长。因此需要有一套不同于原有的基于Spark和Storm的计算平台,推动企业的数据业务高效运行。Flink计算框架在处理大规模数据时的高吞吐量和低时延特性以及对流式数据的良好支持使之成为了实时计算平台的首选框架,本文在基于Flink计算框架的基础上,使用Spring、Spring MVC、My Batis搭建了web端,对Flink的Table API进一步封装设计,简化了实时计算任务的配置操作和使用,为企业的数据流转提供了有效的解决方案。在该项目的设计开发过程中,作者首先参与了平台的可行性分析以及需求分析,在需求分析的基础上设计了实时计算任务管理平台的四大功能模块并分别实现:(1)Source管理模块:包括对Kafka集群管理,Kafka Topic管理,HBase维度表组织结构(Schema)管理。(2)Sink管理模块:支持将Kafka Topic,Hive表,Ti DB表,Hbase表注册到平台中,作为Sink端数据源。支持手动创建临时表或通过SQL语句在线创建临时表。(3)任务管理模块:该模块用于对实时计算任务增删改查,通过Rest API启动、停止计算任务。(4)任务监控模块:该模块用于监控平台中的实时计算任务运行状况,可以对任务的运行状态、运行时间等属性设置监控规则,查看任务运行日志,查看集群当前数据吞吐量,查看任务延迟时间。最后对系统进行了测试,测试结果表明在保证功能正常实现的基础上,新的实时计算平台相较于传统的手动开发模式加快了任务开发周期,减少了重复开发,实现了更高的资源利用效率和更高的任务吞吐量。

基于大数据的商品混合推荐系统

这是一篇关于Flink,数据仓库,大数据,混合推荐的论文, 主要内容为随着移动互联网的成熟发展,我们也逐步迈入了大数据时代,“信息过载”问题则成了我们每天必须面对的问题。推荐系统在这样的背景下诞生并不断发展,近几年来企业对推荐系统的需求也日益增长。普通用户面对这样的数据往往不知所措,对于那些用户难以明确表达出来的需求,推荐系统能够分析用户所产生的各种各样的数据,帮助用户去过滤信息,从而与用户一起发掘出他们所需要的内容。不管是在电子商务、广告的投放还是社交平台,推荐系统都扮演着重要的角色。本文首先研究了相关技术背景,传统的计算架构和存储设计并不能满足推荐系统的要求,面对这些数据,要求系统能够快速响应用户需求,因此推荐系统必须具备强大的数据处理能力。目前大数据处理框架有很多,从最初的Hadoop到后来的Storm、Spark以及最新的Flink,是一个从批处理到流处理的发展过程。大数据处理也分为了离线和实时两个模式,从而为不同的需求场景提供合适的处理方式。此外,数据量的增多也使得数据仓库技术得到快速发展,使用数据仓库建模理论存储海量数据能够有效提升数据的使用与管理效率。随后本文探讨了大数据计算技术和大数据存储技术选型,除了上述提到的几个计算框架,也包括了列式数据库HBase、分布式文件系统HDFS、数据仓库工具Hive等相关大数据存储技术与工具。推荐算法方面,本文首先陈述了一些在推荐系统中经常被使用的算法,并创新提出了基于动态感知的内容推荐算法和动态权重混合推荐算法,将Ebbinghaus遗忘曲线引入相似度计算,并将各推荐服务的结果通过动态权重的方式加以调整并混合,避免单一算法带来的冷启动、稀疏数据等问题,提升个性化推荐效果,使用Amazon的商品数据集对系统的推荐算法的运行时间、准确率和召回率等指标进行测评,验证其可行性与有效性。最后设计并实现了基于大数据的商品混合推荐系统。系统能够对推荐需求作出快速响应,基于动态感知的内容推荐算法比普通的用户反馈推荐拥有更好的效果,并且本文提出的动态权重混合方式比线性混合也拥有更好的性能。

基于Flink框架的用户画像系统设计与实现

这是一篇关于用户画像,服务智能化,精准营销,Flink,大数据的论文, 主要内容为随着互联网的高速发展以及电商的普及,企业间的竞争愈加激烈,如何抓住老客户、吸引新客户、了解用户偏好和需求,是关乎企业发展乃至存亡的重要问题。企业通过用户画像系统,分析业务实体对不同业务中的用户特征进行统计分析和计算实现企业精细化运营。本文以DK企业自营业务需求为背景出发,借助实时框架技术建立并设计实时分析类用户画像系统,使公司以业务中心发展的模式转换为以客户为中心发展的模式稳定核心用户、挖掘潜在用户、提高用户忠诚度和服务智能化,为企业用户数字化转型赋能,主要工作如下:(1)以当下企业中各部门实际需求为基础,然后调研分析出用户画像系统短期需求和长期策略,对用户画像系统开发打下坚实的基础。并对各业务系统中的用户历史数据进行数据分析,补充并完善画像数据,提升数据价值。(2)在系统设计上引入Flume解决企业平台中用户操作数据实时收集和转发的问题,利用Kafka作为数据缓冲区解决数据收集和数据处理速度不匹配的问题,使用Flink框架为基础进行数据处理和状态判断,在处理大量用户数据的同时保障数据时效性,对用户数据进行标签化。实现数据实时和离线分析,完善数据处理机制。(3)结合大数据相关技术实现用户画像系统。系统采用前后端分离式开发,前端页面提供数据配置等选项为系统使用人员提供个性化标签创建和数据所搜,后端提供数据实时和离线数据处理并支持用户数据格式化和非格式化数据存储。系统从需求分析开始接着对系统进行自下而上的设计并按照设计将系统实现,最后逐步形成企业独有的用户画像体系。论文设计并开发了一套企业用户数据处理系统实现用户数据标签化。首先对DK企业中电商系统、物流信息系统和订单系统的用户基础数据进行收集和分析,再对电商平台中用户操作日志数据进行实时分析,完善用户画像数据,然后将数据在用户画像系统前端页面展示。最后经过系统功能测试和性能测试后本文设计和实现的用户画像系统在功能性、易用性和稳定性方面充分满足业务需求。