基于深度强化学习的铁路线路方案生成方法研究
这是一篇关于智能选线,深度强化学习,PPO,线路走向,线形拟合的论文, 主要内容为选线设计工作作为铁路建设的龙头,是铁路设计领域中综合性较强的工作,对整体项目工程费用的多少、施工难度大小和后期运营效果起决定性作用。受地理环境等客观因素和专家经验与地方政策等主观因素的影响,选线设计工作量大、决策周期长。项目初期亟待需要展示线路方案,以便开展后续工作和确立项目的可行性。为解决在项目规划阶段设计铁路线路方案的短时需求,本文结合深度强化学习理论提出智能生成铁路线路方案方法。论文主要的工作内容如下:(1)提出基于深度强化学习的铁路线路寻优模型构建方法。通过分析国内外铁路选线设计研究现状,选取深度强化学习理论,以智能体所处状态为输入,智能体探索动作为输出,建立神经网络,由奖励信号指导智能体学习选线设计任务,打破了以往机助式设计决策单一的问题,实现铁路线路方案的智能化一体设计。(2)实现铁路线路走向自动生成。简化地形建立强化学习环境模型,以选线设计工作经验优化智能体状态与动作,关联铁路选线任务设立奖惩反馈,多轮探索迭代后,该模型可以输出在当前所选区域内的最优线路走向。对比DQN与PPO两种算法在该模型中的性能,研究发现PPO算法体现出的综合性能较优。(3)提出基于自适应线容器的线形拟合方法。针对智能选线模型自动生成的线路走向不符合规范的问题,以正交最小二乘拟合法构建自适应线容器,先分段路径再拟合线形,该方法使得线路初始走向转换为铁路线路方案,并通过改进拟合公式,使得线路方案既符合线路规范又贴合原线路走向。(4)智能选线程序的开发与验证。综合深度强化学习理论、地理信息系统、计算机编程等技术,以Python语言开发铁路智能选线系统。并以云贵高原地区某铁路的线路设计实例验证了该方法的有效性。论文研究结果表明:基于深度强化学习的铁路智能选线方法,可以高效的探索出满足要求的线路方案。以某山区铁路为例对比,该方法大幅度减少了初始线路方案的设计时间,与原有铁路线路方案相比节省费用20.55%,为后期人工选择线路方案提供有力依据。
基于强化学习的社区矫正策略推荐方法研究
这是一篇关于推荐系统,深度强化学习,子空间聚类,矫正策略,集成树的论文, 主要内容为社区矫正制度是国家治理体系的重要组成部分,既是顺应国际化的趋势,也是为贯彻落实我国宽严相济的刑事政策而进行的一项刑罚执行制度改革。快速准确的对矫正人员信息分析的需求增加了社区矫正工作人员的压力,如何实现对矫正人员数据的自动的精准分析非常重要。当前矫正人员信息存在的数据量大、隐匿性强的特点。传统的社区矫正模式采取司法人员人工进行制定矫正策略的方式,存在社区矫正力量不足、矫正水平不一致等问题。为解决各地市矫正水平的差异问题,提高矫正策略的质量,提出了运用相关的技术实现社区矫正工作的信息化、智能化的要求。传统的社区矫正模式采取人工制定矫正策略的方式,存在主观性强,司法水平不一致等问题。强化学习具有自主学习的特点,是一种能够识别数据模式的极其高效的方式,可以通过对矫正策略的学习发现矫正策略与矫正人员信息中的联系。由于矫正人员信息的数据量大,人工制定矫正策略的方式效率较低,推荐系统能够对大量的数据进行分析,实现矫正策略合理的推荐。在矫正策略的推荐过程中,准确刻画矫正人员的用户画像和心理特征具有重要价值,如何挖掘出在不同情况下,把矫正人员的相关信息融入推荐的过程中,实现矫正人员的矫正方案的个性化推荐,并实现犯罪影响因子的研究基础上促进司法社区工作的跨域式升级。本文构建了基于子空间聚类方法进行矫正方案的准确匹配方法,并在此基础上,构建了基于强化学习的矫正方案的精确推荐,为提高司法社区的工作方式方法提供思路。本文针对矫正人员的个性化矫正策略推荐问题,基于实际场景,结合矫正人员的数据的特点,研究了一种结合矫正人员特征分析的矫正策略的推荐算法。主要的工作包含以下几点:(1)提出了一种基于特征子空间的矫正人员状态信息聚类算法。本文将高维度数据搜索问题局部化在相关维度中解决矫正策略标签的自动标记的问题。在社会学理论指导下设计数据驱动的统计评价标准来评价这些子空间的有效性,通过使用Boost集成树算法搜索特征重要性,进一步发现特征子空间聚类模式,将案例知识分解为不同的多个子案例知识,从而提升矫正策略备选推荐方案的准确性。(2)提出了一种基于深度强化学习的矫正策略推荐算法。本文对矫正人员信息进行深度挖掘,构建矫正人员的特征合集,利用领域知识建立矫正策略的评价准则,采用改进的强化学习算法对矫正人员特征和矫正策略特征进行学习,并采用加权的方式进行决策融合进行矫正方案的推荐。(3)矫正策略推荐系统的实现。通过调研和对该系统的需求进行分析,利用MVC架构、前端和后端技术搭建了矫正策略推荐系统。对系统架构采用分层设计,包括数据层、业务层和用户层。对数据存储的底层数据库采用Mysql数据库,通过接口使前端的网页和矫正策略推荐算法相连接,最终使系统稳定的运行。本文依托国家重点研发计划“研究基于社会状态监测大数据的假释、暂予监外执行人员的矫正智能决策技术”,将结合大数据矫正人员数据采集方式,在标签自动标记和矫正策略智能决策技术上形成突破,使矫正方案的制定更加的智能、精准,推动社区矫正领域问题的解决。本文依照项目中矫正人员的数据,设计实验实现本文的算法,并通过不同的算法进行对比,实验结果表明本文的算法的有效性。
基于离在线强化学习的股票量化交易系统
这是一篇关于量化交易,深度强化学习,金融科技,微服务的论文, 主要内容为随着新技术的发展,利用人工智能算法进行股票分析、自动化交易成为越来越多投资者青睐的方向。然而金融市场具有不稳定、趋势实时变化等特点,从历史数据中学到的规律难以在未来取得良好的效果。如何不断在复杂、诱人的股票市场中挖掘出深层的交易信号并实现超额收益一直是公认的难题。本文提出了一种融合离线与在线强化学习的量化交易系统,充分发挥两种不同模式强化学习的优点,努力使其能够挖掘出交易市场的特征并在日新月异的交易市场环境中做出正确的交易决策。本文的主要贡献如下:1.提出一种较完善的股票交易MDP模型。综合考虑股票交易市场的实际情况,本文提出了一个包含账户信息、股票基本信息、技术指标、市场情绪指标4部分18维信息的市场状态表示,以及一个融合人工经验池的交易策略。在尽可能模拟市场反馈的同时,通过一个兼顾收益与风险的复合奖励函数,提升交易智能体对高收益、低风险策略的探索。2.提出一个基于在线强化学习和一个基于离线强化学习的股票交易算法。基于在线强化学习提出了SARPPO算法,通过引入自注意力机制与长短期记忆网络改进PPO网络结构,使其能够更好的挖掘股票时序数据中的关联。然而在线探索机制存在试错成本高、学习效率低下等问题。为此,本文还设计了一个基于离线强化学习的SARAWAC算法和一个股票交易离线MDP数据集。智能体通过离线数据预训练与在线微调的方式学习股票交易策略,从而能够应对交易市场瞬息万变的形势。3.提出一个融合多算法的动态止损交易策略MASL并开发了一个基于微服务量化交易系统将策略落地。基于金融先验知识,在进行实际交易时,MASL策略取各模型输出的策略交集并引入动态止损机制进一步降低策略的交易风险。同时,为使算法落地,本文基于微服务、容器化的思想构建出了一个量化交易系统,通过模块化进一步降低系统耦合度。模块间使用RPC协议通讯并基于容器进行集群化部署,从而实现一个高可用的量化交易系统。实验结果表明,本文提出的两种算法和一个交易策略均能获得高于市场基准的超额收益。同时,通过量化交易系统将模型包装为交易工具,大大降低了普通投资者的使用门槛,有着重要的研究和应用价值。
面向智能导学的知识追踪和习题推荐研究
这是一篇关于知识追踪,习题推荐,深度强化学习,卷积神经网络,领域知识图谱的论文, 主要内容为随着信息技术和教育的不断融合发展,智能导学技术在教育领域中得到了越来越广泛的应用。智能导学技术可以针对每个学习者不同的学习情况,提供个性化的学习指导,以帮助学习者更好地掌握知识。构建精准的学习者模型,是实现智能导学的关键。作为智能导学中的重要环节,习题推荐通过分析学习者的学习数据,预测学习者的知识水平和学习偏好,并为学习者推荐适合其学习水平和学习偏好的习题,以帮助学习者更好地巩固知识,提高学习效率。在上述研究背景之下,本文开展了一系列研究:首先针对现有的学习者建模方法对习题的难度特征建模方面不够充分、没有细化学生的能力特征和知识状态的问题,提出了一种基于难度感知的卷积知识追踪模型,该模型提取了几类有效的信息对习题的难度特征进行建模,根据学习者的历史学习记录分别建立了两个矩阵,以分别提取学生知识状态和能力水平的微观变化,并引入心理测量模型,使其更具有可解释性。实验表明,该模型有效地增强了习题难度特征,在两个数据分布不同的数据集上,表现都优于主流方法。然后面向程序设计的智能导学,提出了一种基于深度强化学习和策略选择的习题推荐模型,通过引入程序设计领域知识图谱,挖掘知识点之间的隐式关系,并且使用知识图谱嵌入方法来增强习题表示。同时,提出了当前学习策略的概念,对学习者的学习策略进行划分,并且使用策略选择网络来学习策略的动态变化,提升了推荐的性能。最后在习题推荐模型中,使用了前述的知识追踪模型作为学生模拟器,将奖励函数设置为习题序列奖励、知识序列奖励和参与度奖励三类。通过学习者模拟器模拟学习者的答题情况,以保证学习者的参与度奖励值在合理的范围内。实验表明,在两个在线测评系统的数据集上,该推荐模型相比于其他的基线模型在各项推荐系统指标上都有所提升,能提供更优的推荐策略。
基于深度强化学习的动态推荐系统
这是一篇关于深度强化学习,动态推荐系统,马尔科夫决策过程,图神经网络,推荐智能体的论文, 主要内容为推荐系统是工业界和学术界处理信息过载的主要手段,其通过分析用户和所推荐项目间的关系,或利用已有用户历史行为记录,帮助用户从海量数据中寻找可能感兴趣的信息。近几十年,推荐系统技术得到了长足发展,基于协同过滤、机器学习、深度学习的模型均已在现实生活中得到了广泛应用,但这些模型表达能力有限,且每次推荐都是按照固定策略,无法适应时刻变化动态的用户兴趣。其次,这些静态模型将每次推荐视为独立过程,没有考虑用户行为的连续性,无法对信息进行充分利用。推荐过程本质上是推荐系统与用户交互的过程,其具有鲜明的交互性。深度强化学习技术因其良好的表达能力与决策能力,被广泛应用于机器人控制、自然语言处理等领域上。近几年,研究人员将深度强化学习与推荐系统相结合,构建了可以在与用户连续交互过程中不断优化推荐策略的动态推荐模型。这些模型虽然克服了静态推荐算法无法处理的用户动态兴趣变化的缺陷,但仍面临训练不稳定、样本利用率低等问题。本文针对基于深度强化学习的动态推荐系统展开研究,主要工作如下:1.提出一种基于SoftActor-Critic架构的稳定动态推荐方法。该方法首先基于用户长期与短期兴趣建模推荐系统的马尔科夫决策过程,使强化学习算法能够根据用户高分反馈行为积累用户长期稳定的兴趣偏好,在此基础上,结合循环神经网络设计了两个编码器来分别获取用户短期与长期兴趣的特征表达。最后,基于强化学习中的Actor-Critic架构设计整个框架,并引入鲁棒性强的深度强化学习算法SoftActor-Critic来训练模型。与已有算法相比,该方法在离线与在线的推荐场景下稳定性更好、推荐准确性更高。2.提出了一种基于Dyna框架与图卷积网络的动态推荐算法。深度强化学习算法应用在推荐系统上往往面临样本利用率低、用户反馈数据稀疏的问题。知识图谱作为辅助信息能提供丰富语义信息,可有效缓解用户反馈数据稀疏问题,该方法利用知识图谱来建模动态推荐系统的马尔可夫决策过程,并结合图神经网络构建强化学习智能体,以此来挖掘知识图谱中项目间的相关性,缓解样本利用率低的问题。另外,为了减少与真实用户的交互,该方法还引入强化学习中的Dyna框架来进一步提高样本利用率。通过仿真在线实验,证明了该方法样本利用率更高,在面临用户反馈数据稀疏能获得更好的推荐性能。3.提出了一种多智能体强化学习的动态推荐算法。该方法将推荐过程分为基于用户与基于用户群体的两个马尔科夫决策过程,并利用深度强化学习中的深度Q学习算法分别对其建模。模型拥有两个深度Q网络结构的智能体,关联全局的深度Q网络掌握着实时热点的变化,掌控当前流行趋势;相关用户个人的局部深度Q网络记录了用户个人兴趣的变化,获取当前用户个性化偏好。在用户冷启动的实验环境下的实验结果验证了所提出方法的能够有效提高推荐精度。
知识增强的高效可靠交互式推荐系统研究
这是一篇关于交互式推荐系统,深度强化学习,知识图谱,图对比学习的论文, 主要内容为推荐系统是解决社会媒体信息过载问题的重要手段。为了解决传统推荐系统无法优化用户长期体验的问题,研究者们提出了交互式推荐系统。交互式推荐系统允许用户在一次会话中与推荐系统进行连续交互,从而实时捕捉用户的偏好变化,进而为用户进行更好的推荐。研究者们尝试使用强化学习去优化交互式推荐系统的推荐策略。基于强化学习的交互式推荐系统面临着高效性问题和可靠性问题:高效性问题指强化推荐系统在实际应用中面临反馈稀疏、从零学习损害用户体验以及物品空间大等问题;可靠性问题指强化推荐系统在实际应用中面临着易受到噪声干扰等问题。针对上述问题,本工作将知识图谱引入基于强化学习的交互式推荐系统中,通过知识增强和图对比学习改进强化推荐模型,提高交互式推荐系统的高效性和可靠性。本文的研究内容和主要贡献如下:(1)为了解决基于强化学习的交互式推荐系统的高效性问题,本文提出一种改进的知识增强策略引导的交互式强化推荐模型KGP-DQN。该方法构建行为知识图谱表示模块,将用户历史行为和知识图谱结合,解决反馈稀疏问题;构建策略初始化模块,根据用户历史行为为强化推荐系统提供初始化策略,解决从零学习损害用户体验的问题;构建候选集筛选模块,根据行为知识图谱上的物品表示对整个物品空间进行动态聚类从而生成较小的候选集,进而解决动作空间大的问题。本方法在三个真实数据集上进行了实验,实验结果表明,该方法可以快速有效地对强化推荐系统进行训练,并取得不错的推荐效果。(2)为了解决基于强化学习的交互式推荐系统的可靠性问题,本文在知识增强策略引导的交互式强化推荐模型的基础上提出一种改进的基于图对比学习的交互式强化推荐模型GCL-DQN。该方法构建噪声数据增强模块,根据现实世界中噪声的种类对交互知识图谱进行数据增强;构建鲁棒节点表示模块,利用数据增强后的交互图谱学习用户和物品鲁棒的节点表示;构建鲁棒多任务学习模块,将鲁棒节点表示模块作为辅助任务与作为主任务的强化推荐任务在不损害强化推荐任务性能的前提下进行结合。本方法在两个真实数据集上进行了实验,实验结果表明,该方法可以在保证强化推荐的性能上提升模型对真实噪声的抵抗能力,即模型具有一定的可靠性。
基于强化学习的多AGV路径规划及调度技术的研究
这是一篇关于AGV,路径规划,强化学习,负载均衡,深度强化学习的论文, 主要内容为随着智能制造、电商以及智能仓储行业的迅猛发展,AGV作为物料、产品搬移运输的关键设备,得到越来越广泛的应用。随着其应用规模的日益扩大,未经负载均衡的路网易于产生局部拥塞,导致路径冲突甚至死锁,严重影响路网的运行效率。本文主要研究了多AGV应用场景下的路网负载均衡、冲突消解及路径规划技术。主要工作包括:针对栅格化路网场景下的AGV路径规划问题,采用基于Q-Learning的AGV路径规划算法,实现了单AGV的路径规划及避障。针对多AGV的路径冲突问题,提出了一种改进奖惩机制,实现了栅格区域中多AGV的动态路径规划及冲突消解。通过仿真验证了算法的有效性。为充分保证大规模AGV分拣系统路网运行效率并防止拥堵,研究了大规模AGV应用场景下路网的负载均衡问题,提出了结合负载均衡与强化学习的路径规划算法。此方法基于Q-Learning算法,将局部拥塞程度考虑到Q-Learning算法的奖惩值中。使用双向随机出入口路网模型进行仿真,结果表明结合负载均衡与强化学习的AGV路径规划算法可以有效均衡路网区域负载。针对基于Q-Learning的多AGV路径规划算法在解决较复杂的多AGV路径规划情况下收敛较慢的问题,提出了基于DQN算法的多AGV路径规划算法,通过神经网络拟合Q-Learning算法中Q值的方式,提升了复杂情形下多AGV路径规划的效率。对多AGV规划调度系统的软件结构进行了探讨,并对关键的实现技术包括数据库交互及并发性能、MQTT协议通信能力进行了测试。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计客栈 ，原文地址：https://bishedaima.com/lunwen/47750.html
