轨迹大数据分布式存储模型及可视化方法

这是一篇关于数据可视化,WebGIS,Hadoop,轨迹大数据,存储模型的论文, 主要内容为不同的城市交通工具会产生与其对应的多源轨迹大数据,数据中包含了丰富的车辆时空信息及位置状态,详细地记录了车辆的时空动态分布情况及规律特性。目前,轨迹大数据具有传统大数据的5V特征,基于时间进行排序,具有数据时间间隔不统一、数据质量较差等特点和缺点。在对轨迹大数据可视化其空间位置信息时,往往需要准确真实的轨迹坐标,最终通过地图、图表和道路特征等可视化方法向用户显示数据。由于出租车等公共交通工具的数量增长以及居民出行需求的增加,导致通过卫星定位技术获取的出租车轨迹数据越来越庞大,大量的出租车轨迹数据获取后需要面临存储与管理等问题。而常规数据库较低的扩展性导致其不能很好地适应实时扩展的出租车数据,单台计算机难以满足海量出租车轨迹数据的清洗处理需求,在进行海量数据可视化渲染时也会出现页面卡顿与可视化效果较差的问题。因此本文以厦门市的出租车轨迹点数据,订单数据以及相应的路网数据,建筑物数据为数据基础,应用Hadoop分布式存储和计算平台对轨迹大数据进行存储和计算的工作。通过制定时间编码来实现数据的快速检索与管理,对数据进行聚类处理以解决可视化效果差与大数据量加载刷新造成的页面可视化卡顿问题,最后建立相应的Web GIS轨迹数据可视化系统对研究内容进行测试以及数据的可视化表达。本文的研究内容包括以下六个方面:(1)搭建Hadoop分布式计算平台:搭建微型分布集群,依托Map Reduce编程模型,实现对出租车轨迹点大数据,订单大数据的清洗和分布式存储。(2)构建多层次的时间编码:以“分”,“时”,“天”为基本单位构建以时间为单位的整数编码,从而得到多层时间尺度的轨迹数据存储模型。基于此种时间编码方式解决了时间格式数据的不通用性,方便了数据匹配,分类的同时还可以快速根据时间范围对数据进行检索定位,提高了数据库的检索速率。(3)构建出租车状态匹配模型:依托Map Reduce编程模型,建立出租车轨迹大数据和订单大数据的时空关联,匹配出租车行驶状态,以充分利用数据进行展示挖掘。(4)构建轨迹点聚集存储模型:依托HBase数据库,时间为基本单位,将符合条件的所有轨迹数据点存储到一个cell单元内,以便于数据的快速检索。(5)构建道路系数避开建筑物的密度划分聚类模型:针对目前轨迹点数据可视化页面卡顿以及渲染效果差的问题,提出结合道路系数避开建筑物的密度划分聚类算法来减少可视化渲染数据的传输量,提升可视化的渲染效果。经计算实验,本文所提出的聚类算法与传统聚类算法的轮廓系数对比,明显优于传统算法的聚类效果。在可视化时与未进行聚类的原始数据进行对比时发现,在渲染级别相同时热力图的加载速度提升了5倍左右,提升可视化渲染速率的同时也解决了热力图的热核现象。(6)搭建出租车轨迹大数据可视化平台:服务端以SSM(Spring+Spring MVC+My Batis)框架为基础,前端为Vue框架,开源Java Script地图引擎Mapbox,Cesuim以及Echarts等地图图表可视化展示库完成数据的传输与渲染。

轨迹大数据分布式存储模型及可视化方法

这是一篇关于数据可视化,WebGIS,Hadoop,轨迹大数据,存储模型的论文, 主要内容为不同的城市交通工具会产生与其对应的多源轨迹大数据,数据中包含了丰富的车辆时空信息及位置状态,详细地记录了车辆的时空动态分布情况及规律特性。目前,轨迹大数据具有传统大数据的5V特征,基于时间进行排序,具有数据时间间隔不统一、数据质量较差等特点和缺点。在对轨迹大数据可视化其空间位置信息时,往往需要准确真实的轨迹坐标,最终通过地图、图表和道路特征等可视化方法向用户显示数据。由于出租车等公共交通工具的数量增长以及居民出行需求的增加,导致通过卫星定位技术获取的出租车轨迹数据越来越庞大,大量的出租车轨迹数据获取后需要面临存储与管理等问题。而常规数据库较低的扩展性导致其不能很好地适应实时扩展的出租车数据,单台计算机难以满足海量出租车轨迹数据的清洗处理需求,在进行海量数据可视化渲染时也会出现页面卡顿与可视化效果较差的问题。因此本文以厦门市的出租车轨迹点数据,订单数据以及相应的路网数据,建筑物数据为数据基础,应用Hadoop分布式存储和计算平台对轨迹大数据进行存储和计算的工作。通过制定时间编码来实现数据的快速检索与管理,对数据进行聚类处理以解决可视化效果差与大数据量加载刷新造成的页面可视化卡顿问题,最后建立相应的Web GIS轨迹数据可视化系统对研究内容进行测试以及数据的可视化表达。本文的研究内容包括以下六个方面:(1)搭建Hadoop分布式计算平台:搭建微型分布集群,依托Map Reduce编程模型,实现对出租车轨迹点大数据,订单大数据的清洗和分布式存储。(2)构建多层次的时间编码:以“分”,“时”,“天”为基本单位构建以时间为单位的整数编码,从而得到多层时间尺度的轨迹数据存储模型。基于此种时间编码方式解决了时间格式数据的不通用性,方便了数据匹配,分类的同时还可以快速根据时间范围对数据进行检索定位,提高了数据库的检索速率。(3)构建出租车状态匹配模型:依托Map Reduce编程模型,建立出租车轨迹大数据和订单大数据的时空关联,匹配出租车行驶状态,以充分利用数据进行展示挖掘。(4)构建轨迹点聚集存储模型:依托HBase数据库,时间为基本单位,将符合条件的所有轨迹数据点存储到一个cell单元内,以便于数据的快速检索。(5)构建道路系数避开建筑物的密度划分聚类模型:针对目前轨迹点数据可视化页面卡顿以及渲染效果差的问题,提出结合道路系数避开建筑物的密度划分聚类算法来减少可视化渲染数据的传输量,提升可视化的渲染效果。经计算实验,本文所提出的聚类算法与传统聚类算法的轮廓系数对比,明显优于传统算法的聚类效果。在可视化时与未进行聚类的原始数据进行对比时发现,在渲染级别相同时热力图的加载速度提升了5倍左右,提升可视化渲染速率的同时也解决了热力图的热核现象。(6)搭建出租车轨迹大数据可视化平台:服务端以SSM(Spring+Spring MVC+My Batis)框架为基础,前端为Vue框架,开源Java Script地图引擎Mapbox,Cesuim以及Echarts等地图图表可视化展示库完成数据的传输与渲染。

基于微服务的服装设计协作系统重构与实践

这是一篇关于系统重构,微服务,存储模型,重构方法,前后端分离的论文, 主要内容为一个信息系统往往通过持续升级来增加功能、降低运维成本、提升性能和增强易用性,企业和高校需要合适他们的方法对所研发软件进行持续迭代和重构。本文以课题组东莞市虎门服装协作创新中心的服装云设计交易平台中的服装设计协作系统为背景,将重构方法和微服务技术应用于中小型Java项目持续升级,首先提出一种Java项目微服务重构方法,然后提出一种加工类产品设计资料存储与展示方法,并通过该服装设计协作系统的重构案例说明了所提出的两个方法的有效性。本文首先提出一种Java项目微服务重构方法,该方法分为系统重构分析、系统重构设计、系统重构实现和系统重构评估四个步骤。系统重构分析阶段需要输出功能需求表、运维及更新需求表、性能需求表和易用性需求表;系统重构设计阶段需要输出系统架构图、服务拆分图、数据库设计图、分离模型图;系统重构实现阶段需要输出重构后的系统源代码和总结文档;系统重构评估需要输出包括功能对比、运维及更新对比、性能对比、易用性对比在内的评估报告。然后针对系统重构功能需求中的设计资料导出功能,提出了一种加工类产品设计资料存储及展示方法,首先设计了一个加工类产品设计资料存储模型,该模型将设计资料中的结构化数据与非结构化数据组织为文本对象、数字对象、可共享内容对象和素材,并通过总描述文件和可共享内容对象描述文件组织为一个整体;然后通过制定样式模板规则的方式让这些数据能够在浏览器中个性化展示,方便设计师在本地维护一个简单易操作的设计资料库。最后通过本文所依托的服装设计协作系统的重构案例验证了这两种方法的有效性。本文所提出的一种Java项目微服务重构方法有助于企业和高校研发团队对所研发软件进行持续升级和重构,加工类产品设计资料存储及展示方法不仅适用于服装领域,也适用于模具、装饰品、家具等加工类产品行业,方便参与者维护自己的设计资料库。

网络文件的分布式存储设计与实现

这是一篇关于网络磁盘,MooseFS,分布式存储,存储模型的论文, 主要内容为随着信息网络和互联网技术的快速发展,人们的生活越来越智能化,每天扑面而来的都是大量的互联网信息,个人数据正爆炸式地增长,因此对个人数据存储提出了要求,而传统存储技术存在的开放性不足、建设成本高、扩展性差等问题已难以满足存储需求,所以云计算的兴起为云存储的发展带来了契机,即可将数据移到云端存储,智能终端无需大量存储空间,用户可随时随地通过互联网登录个人云存储空间存取个人数据资源,可以说云存储的发展正颠覆着现有的网络存储架构。 本文正是针对多媒体瘦客户端用户的数据存储需求这一场景,提出了网络文件的分布式存储方案,设计实现了基于MooseFS的分布式网络文件存储系统,并构建了基于动态副本机制和节点容量感知机制的网络文件分布式存储模型,为终端用户提供安全透明的分布式文件存储。 首先,根据云端存储的需求,设计了B/S架构的网络磁盘应用,为每个用户在云端开辟一份私人存储空间,用户可以进行文件的上传、下载等管理操作,由此将用户的存储空间移到云端,并为用户提供了访问云端空间的Web可视化入口。 其次,为满足用户数据的存储需求,以及提高存储可靠性,设法将网络磁盘文件的存储分布式化。方案一是利用开源的分布式文件系统,本论文采用的是MooseFS,即通过构建MooseFS分布式集群,并将网络磁盘存储空间挂载到该系统中,以实现文件的透明化分布式存储；方案二是设计并构建专门针对网络磁盘小文件分布式存储的模型,利用JNotify进行目录实时监控,并设计动态副本机制,利用聚类算法,将文件副本数与用户使用频率设置为正相关,以平衡存储可靠性和资源利用率；设计节点容量感知机制,利用改进的一致性哈希算法将节点资源可用率与实际负载率设置为正相关,以提高节点存储空间利用率。同时,为了实现模型数据监控可视化,利用MVC模型设计了简易后台管理界面,以实现对用户登录次数、副本数、集群存储容量等的实时查看,方便对模型的管理。 本论文针对多媒体瘦客户端等设备存储空间有限与用户数据存储需求之间的矛盾,通过设计网络磁盘,并将其与分布式文件系统结合,有效实现了网络文件的分布式存储,同时构建了分布式存储模型,测试数据显示,该模型的数据分布策略展示出比较好的节点容量感知特性,并提高了实际资源利用率。本文提出的分布式存储解决方案为用户的数据存储带来极大方便,对提高生活质量和满足信息化需求具有重大意义。

轨迹大数据分布式存储模型及可视化方法

这是一篇关于数据可视化,WebGIS,Hadoop,轨迹大数据,存储模型的论文, 主要内容为不同的城市交通工具会产生与其对应的多源轨迹大数据,数据中包含了丰富的车辆时空信息及位置状态,详细地记录了车辆的时空动态分布情况及规律特性。目前,轨迹大数据具有传统大数据的5V特征,基于时间进行排序,具有数据时间间隔不统一、数据质量较差等特点和缺点。在对轨迹大数据可视化其空间位置信息时,往往需要准确真实的轨迹坐标,最终通过地图、图表和道路特征等可视化方法向用户显示数据。由于出租车等公共交通工具的数量增长以及居民出行需求的增加,导致通过卫星定位技术获取的出租车轨迹数据越来越庞大,大量的出租车轨迹数据获取后需要面临存储与管理等问题。而常规数据库较低的扩展性导致其不能很好地适应实时扩展的出租车数据,单台计算机难以满足海量出租车轨迹数据的清洗处理需求,在进行海量数据可视化渲染时也会出现页面卡顿与可视化效果较差的问题。因此本文以厦门市的出租车轨迹点数据,订单数据以及相应的路网数据,建筑物数据为数据基础,应用Hadoop分布式存储和计算平台对轨迹大数据进行存储和计算的工作。通过制定时间编码来实现数据的快速检索与管理,对数据进行聚类处理以解决可视化效果差与大数据量加载刷新造成的页面可视化卡顿问题,最后建立相应的Web GIS轨迹数据可视化系统对研究内容进行测试以及数据的可视化表达。本文的研究内容包括以下六个方面:(1)搭建Hadoop分布式计算平台:搭建微型分布集群,依托Map Reduce编程模型,实现对出租车轨迹点大数据,订单大数据的清洗和分布式存储。(2)构建多层次的时间编码:以“分”,“时”,“天”为基本单位构建以时间为单位的整数编码,从而得到多层时间尺度的轨迹数据存储模型。基于此种时间编码方式解决了时间格式数据的不通用性,方便了数据匹配,分类的同时还可以快速根据时间范围对数据进行检索定位,提高了数据库的检索速率。(3)构建出租车状态匹配模型:依托Map Reduce编程模型,建立出租车轨迹大数据和订单大数据的时空关联,匹配出租车行驶状态,以充分利用数据进行展示挖掘。(4)构建轨迹点聚集存储模型:依托HBase数据库,时间为基本单位,将符合条件的所有轨迹数据点存储到一个cell单元内,以便于数据的快速检索。(5)构建道路系数避开建筑物的密度划分聚类模型:针对目前轨迹点数据可视化页面卡顿以及渲染效果差的问题,提出结合道路系数避开建筑物的密度划分聚类算法来减少可视化渲染数据的传输量,提升可视化的渲染效果。经计算实验,本文所提出的聚类算法与传统聚类算法的轮廓系数对比,明显优于传统算法的聚类效果。在可视化时与未进行聚类的原始数据进行对比时发现,在渲染级别相同时热力图的加载速度提升了5倍左右,提升可视化渲染速率的同时也解决了热力图的热核现象。(6)搭建出租车轨迹大数据可视化平台:服务端以SSM(Spring+Spring MVC+My Batis)框架为基础,前端为Vue框架,开源Java Script地图引擎Mapbox,Cesuim以及Echarts等地图图表可视化展示库完成数据的传输与渲染。

基于Hadoop的轨迹大数据模型及可视化方法研究

这是一篇关于轨迹大数据,Hadoop,存储模型,WebGIS,数据可视化的论文, 主要内容为轨迹大数据蕴含着丰富的时空信息,是具有位置、时间信息的采样序列,蕴含了被采集对象的时空动态性。与大数据的传统4V特征相比,轨迹大数据还具有更多特征:Veracity(真假共存),轨迹大数据普遍存在数据缺失、噪音点、冗余等异常;Visualization(可视化),轨迹大数据常需要与数据的实际空间位置、空间信息等结合,充分利用地图对运行状态、城市路网特性等进行可视化展现。近年来,随着卫星定位技术、LBS技术以及互联网的不断发展,位置数据被以各种方式收集,轨迹大数据呈爆发式增长,每天的任意时刻都在产生体量超大的轨迹数据,也就导致常规数据库不能更好的适应容量在实时扩张的轨迹大数据,同时轨迹大数据具有多源、数据结构复杂等特征,研究一种适用于轨迹大数据的存储管理技术已经成为现阶段研究的重点与难点。可视化是一种数据表达方式,常用于数据分析与数据挖掘工作,由于轨迹大数据的数据体量较大,在对其进行可视化时常遇到可视化成图耗时较长,页面卡顿,交通热点区域数据密度大,热力图可视化效果较差,呈现热核现象,可视化效果一般等问题。本文以北京市多源交通大数据为基础,通过搭建Hadoop分布式平台进行交通大数据的计算与存储工作,通过对轨迹大数据进行聚类、添加Geohash编码等方式改进轨迹大数据可视化问题,并建立基于Web GIS的可视化系统进行数据可视化测试。本文主要研究内容包括以下几个方面:(1)搭建Hadoop分布式存储框架。使用实验室电脑搭建微型分布式集群,对所研究数据进行预处理工作,实现出租车轨迹挖掘与各区域分时段的OD信息统计,最终结果结合前端web开源地图库进行可视化展示;(2)构建出租车轨迹数据模型。基于HBase建立轨迹数据存储模型,针对于出租车轨迹数据可视化问题,提出使用聚类方法处理原始出租车轨迹大数据,减少可视化绘制计算量和数据传输量;对原始出租车轨迹数据添加Geohash编码,提升小区域内轨迹数据的查询效率。经过对某一时间切片的出租车轨迹数据进行实验,对比发现热力图在缩放等级较高时加载效率提升约30%,基于Geohash编码的散点查询在高缩放等级下查询速度提升较为明显,验证了该方案的可行性;(3)构建电子地图存储模型。通过搭建HBase分布数列式存储数据仓库,结合电子地图数据与HBase列族存储特性,构建服务web可视化的电子地图存储模型,提高了地图栅格数据的加载效率,地图数据在完成100次查询对比后发现,查询效率提升约20%,并具有较稳定的实时加载速率;(4)搭建交通大数据可视化平台。基于上述研究与数据基础,设计交通大数据可视化平台的系统框架与各个数据的查询、可视化流程。通过Java后台代码实现对Hadoop框架的操作与数据传输,结合Java的SSM框架(Spring+Spring MVC+My Batis)完成服务端与前端web页面的数据传输与访问,前端使用开源Java Script地图引擎展示各类交通大数据的空间位置信息,结合echarts、d3.js等图表库可视化展示数据的基本信息。

轨迹大数据分布式存储模型及可视化方法

这是一篇关于数据可视化,WebGIS,Hadoop,轨迹大数据,存储模型的论文, 主要内容为不同的城市交通工具会产生与其对应的多源轨迹大数据,数据中包含了丰富的车辆时空信息及位置状态,详细地记录了车辆的时空动态分布情况及规律特性。目前,轨迹大数据具有传统大数据的5V特征,基于时间进行排序,具有数据时间间隔不统一、数据质量较差等特点和缺点。在对轨迹大数据可视化其空间位置信息时,往往需要准确真实的轨迹坐标,最终通过地图、图表和道路特征等可视化方法向用户显示数据。由于出租车等公共交通工具的数量增长以及居民出行需求的增加,导致通过卫星定位技术获取的出租车轨迹数据越来越庞大,大量的出租车轨迹数据获取后需要面临存储与管理等问题。而常规数据库较低的扩展性导致其不能很好地适应实时扩展的出租车数据,单台计算机难以满足海量出租车轨迹数据的清洗处理需求,在进行海量数据可视化渲染时也会出现页面卡顿与可视化效果较差的问题。因此本文以厦门市的出租车轨迹点数据,订单数据以及相应的路网数据,建筑物数据为数据基础,应用Hadoop分布式存储和计算平台对轨迹大数据进行存储和计算的工作。通过制定时间编码来实现数据的快速检索与管理,对数据进行聚类处理以解决可视化效果差与大数据量加载刷新造成的页面可视化卡顿问题,最后建立相应的Web GIS轨迹数据可视化系统对研究内容进行测试以及数据的可视化表达。本文的研究内容包括以下六个方面:(1)搭建Hadoop分布式计算平台:搭建微型分布集群,依托Map Reduce编程模型,实现对出租车轨迹点大数据,订单大数据的清洗和分布式存储。(2)构建多层次的时间编码:以“分”,“时”,“天”为基本单位构建以时间为单位的整数编码,从而得到多层时间尺度的轨迹数据存储模型。基于此种时间编码方式解决了时间格式数据的不通用性,方便了数据匹配,分类的同时还可以快速根据时间范围对数据进行检索定位,提高了数据库的检索速率。(3)构建出租车状态匹配模型:依托Map Reduce编程模型,建立出租车轨迹大数据和订单大数据的时空关联,匹配出租车行驶状态,以充分利用数据进行展示挖掘。(4)构建轨迹点聚集存储模型:依托HBase数据库,时间为基本单位,将符合条件的所有轨迹数据点存储到一个cell单元内,以便于数据的快速检索。(5)构建道路系数避开建筑物的密度划分聚类模型:针对目前轨迹点数据可视化页面卡顿以及渲染效果差的问题,提出结合道路系数避开建筑物的密度划分聚类算法来减少可视化渲染数据的传输量,提升可视化的渲染效果。经计算实验,本文所提出的聚类算法与传统聚类算法的轮廓系数对比,明显优于传统算法的聚类效果。在可视化时与未进行聚类的原始数据进行对比时发现,在渲染级别相同时热力图的加载速度提升了5倍左右,提升可视化渲染速率的同时也解决了热力图的热核现象。(6)搭建出租车轨迹大数据可视化平台:服务端以SSM(Spring+Spring MVC+My Batis)框架为基础,前端为Vue框架,开源Java Script地图引擎Mapbox,Cesuim以及Echarts等地图图表可视化展示库完成数据的传输与渲染。

基于Hadoop的轨迹大数据模型及可视化方法研究

这是一篇关于轨迹大数据,Hadoop,存储模型,WebGIS,数据可视化的论文, 主要内容为轨迹大数据蕴含着丰富的时空信息,是具有位置、时间信息的采样序列,蕴含了被采集对象的时空动态性。与大数据的传统4V特征相比,轨迹大数据还具有更多特征:Veracity(真假共存),轨迹大数据普遍存在数据缺失、噪音点、冗余等异常;Visualization(可视化),轨迹大数据常需要与数据的实际空间位置、空间信息等结合,充分利用地图对运行状态、城市路网特性等进行可视化展现。近年来,随着卫星定位技术、LBS技术以及互联网的不断发展,位置数据被以各种方式收集,轨迹大数据呈爆发式增长,每天的任意时刻都在产生体量超大的轨迹数据,也就导致常规数据库不能更好的适应容量在实时扩张的轨迹大数据,同时轨迹大数据具有多源、数据结构复杂等特征,研究一种适用于轨迹大数据的存储管理技术已经成为现阶段研究的重点与难点。可视化是一种数据表达方式,常用于数据分析与数据挖掘工作,由于轨迹大数据的数据体量较大,在对其进行可视化时常遇到可视化成图耗时较长,页面卡顿,交通热点区域数据密度大,热力图可视化效果较差,呈现热核现象,可视化效果一般等问题。本文以北京市多源交通大数据为基础,通过搭建Hadoop分布式平台进行交通大数据的计算与存储工作,通过对轨迹大数据进行聚类、添加Geohash编码等方式改进轨迹大数据可视化问题,并建立基于Web GIS的可视化系统进行数据可视化测试。本文主要研究内容包括以下几个方面:(1)搭建Hadoop分布式存储框架。使用实验室电脑搭建微型分布式集群,对所研究数据进行预处理工作,实现出租车轨迹挖掘与各区域分时段的OD信息统计,最终结果结合前端web开源地图库进行可视化展示;(2)构建出租车轨迹数据模型。基于HBase建立轨迹数据存储模型,针对于出租车轨迹数据可视化问题,提出使用聚类方法处理原始出租车轨迹大数据,减少可视化绘制计算量和数据传输量;对原始出租车轨迹数据添加Geohash编码,提升小区域内轨迹数据的查询效率。经过对某一时间切片的出租车轨迹数据进行实验,对比发现热力图在缩放等级较高时加载效率提升约30%,基于Geohash编码的散点查询在高缩放等级下查询速度提升较为明显,验证了该方案的可行性;(3)构建电子地图存储模型。通过搭建HBase分布数列式存储数据仓库,结合电子地图数据与HBase列族存储特性,构建服务web可视化的电子地图存储模型,提高了地图栅格数据的加载效率,地图数据在完成100次查询对比后发现,查询效率提升约20%,并具有较稳定的实时加载速率;(4)搭建交通大数据可视化平台。基于上述研究与数据基础,设计交通大数据可视化平台的系统框架与各个数据的查询、可视化流程。通过Java后台代码实现对Hadoop框架的操作与数据传输,结合Java的SSM框架(Spring+Spring MVC+My Batis)完成服务端与前端web页面的数据传输与访问,前端使用开源Java Script地图引擎展示各类交通大数据的空间位置信息,结合echarts、d3.js等图表库可视化展示数据的基本信息。