基于Hadoop的轨迹大数据模型及可视化方法研究

这是一篇关于轨迹大数据,Hadoop,存储模型,WebGIS,数据可视化的论文, 主要内容为轨迹大数据蕴含着丰富的时空信息,是具有位置、时间信息的采样序列,蕴含了被采集对象的时空动态性。与大数据的传统4V特征相比,轨迹大数据还具有更多特征:Veracity(真假共存),轨迹大数据普遍存在数据缺失、噪音点、冗余等异常;Visualization(可视化),轨迹大数据常需要与数据的实际空间位置、空间信息等结合,充分利用地图对运行状态、城市路网特性等进行可视化展现。近年来,随着卫星定位技术、LBS技术以及互联网的不断发展,位置数据被以各种方式收集,轨迹大数据呈爆发式增长,每天的任意时刻都在产生体量超大的轨迹数据,也就导致常规数据库不能更好的适应容量在实时扩张的轨迹大数据,同时轨迹大数据具有多源、数据结构复杂等特征,研究一种适用于轨迹大数据的存储管理技术已经成为现阶段研究的重点与难点。可视化是一种数据表达方式,常用于数据分析与数据挖掘工作,由于轨迹大数据的数据体量较大,在对其进行可视化时常遇到可视化成图耗时较长,页面卡顿,交通热点区域数据密度大,热力图可视化效果较差,呈现热核现象,可视化效果一般等问题。本文以北京市多源交通大数据为基础,通过搭建Hadoop分布式平台进行交通大数据的计算与存储工作,通过对轨迹大数据进行聚类、添加Geohash编码等方式改进轨迹大数据可视化问题,并建立基于Web GIS的可视化系统进行数据可视化测试。本文主要研究内容包括以下几个方面:(1)搭建Hadoop分布式存储框架。使用实验室电脑搭建微型分布式集群,对所研究数据进行预处理工作,实现出租车轨迹挖掘与各区域分时段的OD信息统计,最终结果结合前端web开源地图库进行可视化展示;(2)构建出租车轨迹数据模型。基于HBase建立轨迹数据存储模型,针对于出租车轨迹数据可视化问题,提出使用聚类方法处理原始出租车轨迹大数据,减少可视化绘制计算量和数据传输量;对原始出租车轨迹数据添加Geohash编码,提升小区域内轨迹数据的查询效率。经过对某一时间切片的出租车轨迹数据进行实验,对比发现热力图在缩放等级较高时加载效率提升约30%,基于Geohash编码的散点查询在高缩放等级下查询速度提升较为明显,验证了该方案的可行性;(3)构建电子地图存储模型。通过搭建HBase分布数列式存储数据仓库,结合电子地图数据与HBase列族存储特性,构建服务web可视化的电子地图存储模型,提高了地图栅格数据的加载效率,地图数据在完成100次查询对比后发现,查询效率提升约20%,并具有较稳定的实时加载速率;(4)搭建交通大数据可视化平台。基于上述研究与数据基础,设计交通大数据可视化平台的系统框架与各个数据的查询、可视化流程。通过Java后台代码实现对Hadoop框架的操作与数据传输,结合Java的SSM框架(Spring+Spring MVC+My Batis)完成服务端与前端web页面的数据传输与访问,前端使用开源Java Script地图引擎展示各类交通大数据的空间位置信息,结合echarts、d3.js等图表库可视化展示数据的基本信息。

轨迹大数据的向量场可视化方法研究

这是一篇关于轨迹大数据,数据可视化,向量场,Hadoop,MySQL的论文, 主要内容为随着轨迹大数据的快速增长,对轨迹大数据高效地挖掘分析、可视化成为了一个亟待解决的问题。通过高效地挖掘分析和可视化技术能够将轨迹大数据变成易于理解和操作的形式,使得人们能够直观地观察轨迹大数据的时空分布、聚集模式等特征。为了深入挖掘轨迹大数据的隐藏价值,需要采用一系列大数据挖掘技术和方法,Hadoop分布式计算技术体系是目前解决大数据的存储和管理的关键技术,在实际应用中,轨迹大数据的5V特征会增加系统开销,减缓系统性能,还会增加系统的部署和维护成本。因此,需要研究一种适用于轨迹大数据的可视化模型和存储管理技术,以便更好地挖掘出轨迹大数据中隐藏的价值,为城市交通管理和规划提供数据参考和决策支持。根据以上背景,首先,本文系统分析了现有的轨迹大数据可视化方法,依据向量场的可视化思想,提出了一种基于向量场的可视化模型,并应用北京市出租车轨迹大数据进行实验验证。其次,为了更好地计算与分析轨迹大数据,利用Hadoop和MySQL技术对不同量级数据处理的优势,设计了平台数据库存储管理架构。最后,实现并开发了一个轨迹大数据分析平台,该平台能够可视化地展现数据特征和规律,为用户提供更好的数据挖掘分析服务。本文主要研究内容如下:(1)针对轨迹大数据可视化模型问题,提出了一种面向轨迹大数据的向量场可视化模型。该方法将车辆的运动方向和速度以向量的形式处理和投影计算,绘制流线完成向量场可视化模型,从而直观地反映出车辆的拥堵趋势、聚集状态等信息。同时,运用Web GL技术设计向量场可视化渲染效果,在视图窗口内生成大量粒子,通过粒子的运动来模拟向量的实际效果,完成向量场的可视化渲染。该方法与传统的热力图、散点图等方法相比,更加注重对未来数据的“预测”,并且能够有效识别拥堵趋势点和快速计算拥堵指数。(2)针对轨迹大数据存储管理问题,本文结合Hadoop和MySQL数据库实现海量数据处理和查询的需求,使用HDFS存储大规模数据,MySQL存储小规模数据,通过Spark实现数据处理和分析。数据引擎主要为SQL解析,关系型数据库为MySQL内部提供的Inno DB查询引擎,分布式数据库为Spark SQL查询引擎,缓存为Redis,文件检索为Elasticsearch引擎,并结合轨迹大数据可视化平台总体架构,详细设计实体对象、关系类型和表格。(3)根据提出的可视化模型和相关方法,设计并开发了轨迹大数据可视化平台。该平台能够处理海量的轨迹数据,并根据用户需求生成相应的可视化分析结果,包括轨迹点热力分布图、运行状态散点图、运行密度网格图、三维运行状态轨迹图和拥堵趋势向量场图,分析结果可为用户提供直观、快速、准确的车辆运动状态展示。同时,该平台还提供了用户管理服务,如权限配置、菜单分配等,其具有良好的可拓展性。

轨迹大数据分布式存储模型及可视化方法

这是一篇关于数据可视化,WebGIS,Hadoop,轨迹大数据,存储模型的论文, 主要内容为不同的城市交通工具会产生与其对应的多源轨迹大数据,数据中包含了丰富的车辆时空信息及位置状态,详细地记录了车辆的时空动态分布情况及规律特性。目前,轨迹大数据具有传统大数据的5V特征,基于时间进行排序,具有数据时间间隔不统一、数据质量较差等特点和缺点。在对轨迹大数据可视化其空间位置信息时,往往需要准确真实的轨迹坐标,最终通过地图、图表和道路特征等可视化方法向用户显示数据。由于出租车等公共交通工具的数量增长以及居民出行需求的增加,导致通过卫星定位技术获取的出租车轨迹数据越来越庞大,大量的出租车轨迹数据获取后需要面临存储与管理等问题。而常规数据库较低的扩展性导致其不能很好地适应实时扩展的出租车数据,单台计算机难以满足海量出租车轨迹数据的清洗处理需求,在进行海量数据可视化渲染时也会出现页面卡顿与可视化效果较差的问题。因此本文以厦门市的出租车轨迹点数据,订单数据以及相应的路网数据,建筑物数据为数据基础,应用Hadoop分布式存储和计算平台对轨迹大数据进行存储和计算的工作。通过制定时间编码来实现数据的快速检索与管理,对数据进行聚类处理以解决可视化效果差与大数据量加载刷新造成的页面可视化卡顿问题,最后建立相应的Web GIS轨迹数据可视化系统对研究内容进行测试以及数据的可视化表达。本文的研究内容包括以下六个方面:(1)搭建Hadoop分布式计算平台:搭建微型分布集群,依托Map Reduce编程模型,实现对出租车轨迹点大数据,订单大数据的清洗和分布式存储。(2)构建多层次的时间编码:以“分”,“时”,“天”为基本单位构建以时间为单位的整数编码,从而得到多层时间尺度的轨迹数据存储模型。基于此种时间编码方式解决了时间格式数据的不通用性,方便了数据匹配,分类的同时还可以快速根据时间范围对数据进行检索定位,提高了数据库的检索速率。(3)构建出租车状态匹配模型:依托Map Reduce编程模型,建立出租车轨迹大数据和订单大数据的时空关联,匹配出租车行驶状态,以充分利用数据进行展示挖掘。(4)构建轨迹点聚集存储模型:依托HBase数据库,时间为基本单位,将符合条件的所有轨迹数据点存储到一个cell单元内,以便于数据的快速检索。(5)构建道路系数避开建筑物的密度划分聚类模型:针对目前轨迹点数据可视化页面卡顿以及渲染效果差的问题,提出结合道路系数避开建筑物的密度划分聚类算法来减少可视化渲染数据的传输量,提升可视化的渲染效果。经计算实验,本文所提出的聚类算法与传统聚类算法的轮廓系数对比,明显优于传统算法的聚类效果。在可视化时与未进行聚类的原始数据进行对比时发现,在渲染级别相同时热力图的加载速度提升了5倍左右,提升可视化渲染速率的同时也解决了热力图的热核现象。(6)搭建出租车轨迹大数据可视化平台:服务端以SSM(Spring+Spring MVC+My Batis)框架为基础,前端为Vue框架,开源Java Script地图引擎Mapbox,Cesuim以及Echarts等地图图表可视化展示库完成数据的传输与渲染。

轨迹大数据分布式存储模型及可视化方法

这是一篇关于数据可视化,WebGIS,Hadoop,轨迹大数据,存储模型的论文, 主要内容为不同的城市交通工具会产生与其对应的多源轨迹大数据,数据中包含了丰富的车辆时空信息及位置状态,详细地记录了车辆的时空动态分布情况及规律特性。目前,轨迹大数据具有传统大数据的5V特征,基于时间进行排序,具有数据时间间隔不统一、数据质量较差等特点和缺点。在对轨迹大数据可视化其空间位置信息时,往往需要准确真实的轨迹坐标,最终通过地图、图表和道路特征等可视化方法向用户显示数据。由于出租车等公共交通工具的数量增长以及居民出行需求的增加,导致通过卫星定位技术获取的出租车轨迹数据越来越庞大,大量的出租车轨迹数据获取后需要面临存储与管理等问题。而常规数据库较低的扩展性导致其不能很好地适应实时扩展的出租车数据,单台计算机难以满足海量出租车轨迹数据的清洗处理需求,在进行海量数据可视化渲染时也会出现页面卡顿与可视化效果较差的问题。因此本文以厦门市的出租车轨迹点数据,订单数据以及相应的路网数据,建筑物数据为数据基础,应用Hadoop分布式存储和计算平台对轨迹大数据进行存储和计算的工作。通过制定时间编码来实现数据的快速检索与管理,对数据进行聚类处理以解决可视化效果差与大数据量加载刷新造成的页面可视化卡顿问题,最后建立相应的Web GIS轨迹数据可视化系统对研究内容进行测试以及数据的可视化表达。本文的研究内容包括以下六个方面:(1)搭建Hadoop分布式计算平台:搭建微型分布集群,依托Map Reduce编程模型,实现对出租车轨迹点大数据,订单大数据的清洗和分布式存储。(2)构建多层次的时间编码:以“分”,“时”,“天”为基本单位构建以时间为单位的整数编码,从而得到多层时间尺度的轨迹数据存储模型。基于此种时间编码方式解决了时间格式数据的不通用性,方便了数据匹配,分类的同时还可以快速根据时间范围对数据进行检索定位,提高了数据库的检索速率。(3)构建出租车状态匹配模型:依托Map Reduce编程模型,建立出租车轨迹大数据和订单大数据的时空关联,匹配出租车行驶状态,以充分利用数据进行展示挖掘。(4)构建轨迹点聚集存储模型:依托HBase数据库,时间为基本单位,将符合条件的所有轨迹数据点存储到一个cell单元内,以便于数据的快速检索。(5)构建道路系数避开建筑物的密度划分聚类模型:针对目前轨迹点数据可视化页面卡顿以及渲染效果差的问题,提出结合道路系数避开建筑物的密度划分聚类算法来减少可视化渲染数据的传输量,提升可视化的渲染效果。经计算实验,本文所提出的聚类算法与传统聚类算法的轮廓系数对比,明显优于传统算法的聚类效果。在可视化时与未进行聚类的原始数据进行对比时发现,在渲染级别相同时热力图的加载速度提升了5倍左右,提升可视化渲染速率的同时也解决了热力图的热核现象。(6)搭建出租车轨迹大数据可视化平台:服务端以SSM(Spring+Spring MVC+My Batis)框架为基础,前端为Vue框架,开源Java Script地图引擎Mapbox,Cesuim以及Echarts等地图图表可视化展示库完成数据的传输与渲染。

轨迹大数据分布式存储模型及可视化方法

这是一篇关于数据可视化,WebGIS,Hadoop,轨迹大数据,存储模型的论文, 主要内容为不同的城市交通工具会产生与其对应的多源轨迹大数据,数据中包含了丰富的车辆时空信息及位置状态,详细地记录了车辆的时空动态分布情况及规律特性。目前,轨迹大数据具有传统大数据的5V特征,基于时间进行排序,具有数据时间间隔不统一、数据质量较差等特点和缺点。在对轨迹大数据可视化其空间位置信息时,往往需要准确真实的轨迹坐标,最终通过地图、图表和道路特征等可视化方法向用户显示数据。由于出租车等公共交通工具的数量增长以及居民出行需求的增加,导致通过卫星定位技术获取的出租车轨迹数据越来越庞大,大量的出租车轨迹数据获取后需要面临存储与管理等问题。而常规数据库较低的扩展性导致其不能很好地适应实时扩展的出租车数据,单台计算机难以满足海量出租车轨迹数据的清洗处理需求,在进行海量数据可视化渲染时也会出现页面卡顿与可视化效果较差的问题。因此本文以厦门市的出租车轨迹点数据,订单数据以及相应的路网数据,建筑物数据为数据基础,应用Hadoop分布式存储和计算平台对轨迹大数据进行存储和计算的工作。通过制定时间编码来实现数据的快速检索与管理,对数据进行聚类处理以解决可视化效果差与大数据量加载刷新造成的页面可视化卡顿问题,最后建立相应的Web GIS轨迹数据可视化系统对研究内容进行测试以及数据的可视化表达。本文的研究内容包括以下六个方面:(1)搭建Hadoop分布式计算平台:搭建微型分布集群,依托Map Reduce编程模型,实现对出租车轨迹点大数据,订单大数据的清洗和分布式存储。(2)构建多层次的时间编码:以“分”,“时”,“天”为基本单位构建以时间为单位的整数编码,从而得到多层时间尺度的轨迹数据存储模型。基于此种时间编码方式解决了时间格式数据的不通用性,方便了数据匹配,分类的同时还可以快速根据时间范围对数据进行检索定位,提高了数据库的检索速率。(3)构建出租车状态匹配模型:依托Map Reduce编程模型,建立出租车轨迹大数据和订单大数据的时空关联,匹配出租车行驶状态,以充分利用数据进行展示挖掘。(4)构建轨迹点聚集存储模型:依托HBase数据库,时间为基本单位,将符合条件的所有轨迹数据点存储到一个cell单元内,以便于数据的快速检索。(5)构建道路系数避开建筑物的密度划分聚类模型:针对目前轨迹点数据可视化页面卡顿以及渲染效果差的问题,提出结合道路系数避开建筑物的密度划分聚类算法来减少可视化渲染数据的传输量,提升可视化的渲染效果。经计算实验,本文所提出的聚类算法与传统聚类算法的轮廓系数对比,明显优于传统算法的聚类效果。在可视化时与未进行聚类的原始数据进行对比时发现,在渲染级别相同时热力图的加载速度提升了5倍左右,提升可视化渲染速率的同时也解决了热力图的热核现象。(6)搭建出租车轨迹大数据可视化平台:服务端以SSM(Spring+Spring MVC+My Batis)框架为基础,前端为Vue框架,开源Java Script地图引擎Mapbox,Cesuim以及Echarts等地图图表可视化展示库完成数据的传输与渲染。

轨迹大数据分布式存储模型及可视化方法

这是一篇关于数据可视化,WebGIS,Hadoop,轨迹大数据,存储模型的论文, 主要内容为不同的城市交通工具会产生与其对应的多源轨迹大数据,数据中包含了丰富的车辆时空信息及位置状态,详细地记录了车辆的时空动态分布情况及规律特性。目前,轨迹大数据具有传统大数据的5V特征,基于时间进行排序,具有数据时间间隔不统一、数据质量较差等特点和缺点。在对轨迹大数据可视化其空间位置信息时,往往需要准确真实的轨迹坐标,最终通过地图、图表和道路特征等可视化方法向用户显示数据。由于出租车等公共交通工具的数量增长以及居民出行需求的增加,导致通过卫星定位技术获取的出租车轨迹数据越来越庞大,大量的出租车轨迹数据获取后需要面临存储与管理等问题。而常规数据库较低的扩展性导致其不能很好地适应实时扩展的出租车数据,单台计算机难以满足海量出租车轨迹数据的清洗处理需求,在进行海量数据可视化渲染时也会出现页面卡顿与可视化效果较差的问题。因此本文以厦门市的出租车轨迹点数据,订单数据以及相应的路网数据,建筑物数据为数据基础,应用Hadoop分布式存储和计算平台对轨迹大数据进行存储和计算的工作。通过制定时间编码来实现数据的快速检索与管理,对数据进行聚类处理以解决可视化效果差与大数据量加载刷新造成的页面可视化卡顿问题,最后建立相应的Web GIS轨迹数据可视化系统对研究内容进行测试以及数据的可视化表达。本文的研究内容包括以下六个方面:(1)搭建Hadoop分布式计算平台:搭建微型分布集群,依托Map Reduce编程模型,实现对出租车轨迹点大数据,订单大数据的清洗和分布式存储。(2)构建多层次的时间编码:以“分”,“时”,“天”为基本单位构建以时间为单位的整数编码,从而得到多层时间尺度的轨迹数据存储模型。基于此种时间编码方式解决了时间格式数据的不通用性,方便了数据匹配,分类的同时还可以快速根据时间范围对数据进行检索定位,提高了数据库的检索速率。(3)构建出租车状态匹配模型:依托Map Reduce编程模型,建立出租车轨迹大数据和订单大数据的时空关联,匹配出租车行驶状态,以充分利用数据进行展示挖掘。(4)构建轨迹点聚集存储模型:依托HBase数据库,时间为基本单位,将符合条件的所有轨迹数据点存储到一个cell单元内,以便于数据的快速检索。(5)构建道路系数避开建筑物的密度划分聚类模型:针对目前轨迹点数据可视化页面卡顿以及渲染效果差的问题,提出结合道路系数避开建筑物的密度划分聚类算法来减少可视化渲染数据的传输量,提升可视化的渲染效果。经计算实验,本文所提出的聚类算法与传统聚类算法的轮廓系数对比,明显优于传统算法的聚类效果。在可视化时与未进行聚类的原始数据进行对比时发现,在渲染级别相同时热力图的加载速度提升了5倍左右,提升可视化渲染速率的同时也解决了热力图的热核现象。(6)搭建出租车轨迹大数据可视化平台:服务端以SSM(Spring+Spring MVC+My Batis)框架为基础,前端为Vue框架,开源Java Script地图引擎Mapbox,Cesuim以及Echarts等地图图表可视化展示库完成数据的传输与渲染。

基于时空轨迹大数据的路线规划机制的研究与系统构建

这是一篇关于轨迹大数据,最佳客源点,ACO-OPP,Stackelberg的论文, 主要内容为随着计算机技术和物联网技术的快速发展,人们越来越依赖于基于位置的服务,时空轨迹大数据也急剧增加。出租车轨迹数据作为时空轨迹大数据的重要组成部分,受到了广泛的关注。出租车是城市出行的重要交通工具,为居民生活带来便利。目前,对于出租车司机而言,在没有订单的情况下,他们只能选择在原地被动等待,或者自主寻客。这会消耗大量的时间成本和油费成本,影响收益。由于缺乏合理规划,还存在热门路径的拥堵问题。针对现有工作不足,本文基于时空轨迹大数据的路线规划问题展开研究,主要的研究工作如下:(1)时空轨迹大数据的研究。我们分析了数据的时空分布并且挖掘了基于出租车轨迹数据的最佳客源点。首先对数据进行时段的划分,其次按照地理位置再进行分区,目的是了解不同时段不同区域的数据变化趋势,分析出租车整体的时空分布,为路线规划做铺垫。然后对划分的数据利用DBSCAN聚类算法挖掘出轨迹数据中的簇。最后利用K-Means聚类算法找出每个簇的中心点,也即最佳客源点。最佳客源点是轨迹数据中出租车最常访问的位置点,如果空载司机能够找到最佳客源点将大大提高上座率。(2)盈利路线的规划。数据经过聚类处理,形成了一系列的最佳客源点的集合。我们将基于点到点的路线规划问题转化为旅行商问题。提出了基于最佳客源点的优化蚁群算法(Ant Colony Optimization Algorithm based on Optimal Profit Points,ACO-OPP)。在路径的选择概率上,我们通过加入影响因子来提高司机对于热门最佳客源点的选择。通过使用全局信息素更新和局部信息素更新相结合的规则来增加算法的探索能力,避免进入停滞状态。利用百度地图API中驾车距离实时计算函数来代替原始距离计算公式。(3)Stackelberg博弈模型。在路线规划过程中,往往会出现热门路径的拥堵问题,随着拥堵时间的上升,司机的成本也会急剧增加。为了解决这个问题,我们引入Stackelberg博弈模型,我们从管理者和出行者两个决策方的角度出发,通过固定的时间间隔进行交通诱导,使得两者达到一种均衡状态,从而实现管理者和出行者效益最大化,使得路网资源得到了极大的利用,有效解决热门路径的拥堵问题。(4)基于SSM(Spring+Spring MVC+My Batis)框架构建了出租车路线规划系统。该系统利用百度地图API进行开发,实现地图展示、定位、最佳客源点的检索和查询、路线规划、路线导航等功能。在路线规划的算法设计上,由于考虑到热门路径的拥堵问题引入了Stackelberg博弈模型,并在管理者决策方求解时利用了提出的ACO-OPP算法,从而实现出租车司机和交通管理者利益最大化。