收藏本站
《江西理工大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hadoop的GIS网络最短路径算法研究

邓增健  
【摘要】:最短路径分析作为GIS中最重要的空间分析功能之一,已经广泛地应用于路径导航、管网优化设计、交通疏导等方面。随着交通路网、管道网络等设施的规模逐年扩大,由这些现实设施抽象出来的空间网络数据的规模也逐渐趋向于海量化。如何使大规模空间网络得到快速处理是GIS中最短路径算法所要面对的一个巨大挑战。单机环境下GIS平台的最短路径分析处理大规模网络数据会出现计算效率较低的情况,有时甚至会造成GIS软件运行崩溃。云计算平台Hadoop在处理大数据方面,具有运算效率高和应用成熟、稳定的优势。为此,本文对基于Hadoop的GIS网络最短路径算法进行了研究。(一)本文研究了GIS网络矢量数据在HBase中的存储与管理。根据GIS网络的数据结构进行解析,并通过适当的HBase表结构设计,解决了GIS网络在Hadoop下的存储问题,为GIS网络在Hadoop云平台中进行最短路径并行计算创造了前提条件。并且通过设计相关HBase表,实现了动态权重的赋值问题,使得最短路径算法能够延伸为最优路径算法。(二)本文设计了基于MapReduce的邻接表结构生成算法。该算法的设计结合了邻接表结构的特点与MapReduce的运行原理,在Hadoop平台下能有效地解决大规模GIS网络的邻接表结构生成问题。通过该算法过程得到的邻接表数据结构给本文最短路径算法提供了数据结构保障。(三)本文提出了基于Hadoop的GIS网络最短路径并行算法(H_PGNSP)。该算法流程除了上文所述的计算过程外,还包括改进的最短路径算法计算过程。改进的算法以Lin J提出的广度优先最短路径并行算法(PBFS_SP)为思想基础,进行改进设计。通过搭建Had oop云平台,将改进的算法与PBFS_SP算法和Dijkstra算法进行了实验对比分析。实验表明改进算法在网络规模达到一定程度时相较Dijkstra算法计算效率得到了较大的提高,在大规模的网络下,三个算法中改进算法计算效率最高。(四)最后,在模拟的应急场景下,将本文算法H_PGNSP用于救援路径的制定。算法计算结果通过GIS技术能与相关GIS平台无缝结合,且易于实现最短路径的空间可视化。研究结果表明,与单机GIS平台相比,本文算法可解决求解大规模网络最短路径的效率问题。而且相较于其他并行最短路径算法,本文算法能与相关GIS平台兼容,在空间可视化表达上具有一定的优势,效率也得到了较好的提高。
【学位授予单位】:江西理工大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:P208

【参考文献】
中国期刊全文数据库 前10条
1 王少华;;超图平台软件创新:超图在线GIS平台(SuperMap Online)技术简介[J];地球信息科学学报;2016年09期
2 尹鹏程;付丽莉;蔡先娈;邓玉锋;纪国平;;不动产统一登记信息平台建设探讨[J];测绘科学;2016年11期
3 闫春望;黄玮;王劲松;;一种并行模糊神经网络最短路径算法[J];计算机应用研究;2016年11期
4 王凯;曹建成;王乃生;郭朝阳;张哲;;Hadoop支持下的地理信息大数据处理技术初探[J];测绘通报;2015年10期
5 徐建闽;王钰;林培群;;大数据环境下的动态最短路径算法[J];华南理工大学学报(自然科学版);2015年10期
6 钮亮;张宝友;;基于云计算求解城市物流配送最短路径研究[J];科技通报;2015年05期
7 张文金;许爱军;;基于云计算的混合并行遗传算法求解最短路径[J];电子技术应用;2015年03期
8 孙文彬;谭正龙;王江;赵帅阳;;基于多粒度通讯的Dijkstra并行算法优化[J];中国矿业大学学报;2014年05期
9 杨庆芳;梅朵;郑黎黎;马明辉;王伟;;基于云计算的城市路网最短路径遗传算法求解[J];华南理工大学学报(自然科学版);2014年03期
10 范建永;龙明;熊伟;;基于Hadoop的云GIS体系结构研究[J];测绘通报;2013年11期
中国硕士学位论文全文数据库 前4条
1 李宽;基于HDFS的分布式Namenode节点模型的研究[D];华南理工大学;2011年
2 霍树民;基于Hadoop的海量影像数据管理关键技术研究[D];国防科学技术大学;2010年
3 卢照;基于城市路网最短路径并行搜索算法的研究[D];陕西师范大学;2010年
4 朱珠;基于Hadoop的海量数据处理模型研究和应用[D];北京邮电大学;2008年
【共引文献】
中国期刊全文数据库 前10条
1 孟祥萍;田凯乔;王磊;;基于模糊神经算法的风电机组齿轮箱故障在线诊断[J];科技创新与应用;2017年35期
2 付艳丽;吴艳民;张金标;郑坤;赵长虹;郑康;方发林;;基于MapReduce的空间数据并行划分算法[J];测绘通报;2017年11期
3 李春贵;伍玉秀;;基于KSP和重路由机制的WDM光网络路由优化[J];光通信技术;2017年11期
4 谢辉荣;钱佩;谢刚生;;佛山市税源地图大数据展示系统的设计与实现[J];测绘通报;2017年10期
5 王延仓;庄连英;赵子辉;杨秀峰;曹欢;孙世奎;;基于Spatial Hadoop云平台下空间数据存储研究[J];电脑知识与技术;2017年25期
6 孔令彦;关丽;丁燕杰;陈思;;空间大数据支持下的城市区域评估及其关键技术[J];测绘通报;2017年08期
7 赵鹏程;;云环境下浙江省数字城市一体化运维初探[J];测绘通报;2017年08期
8 杨国庆;岳东杰;陈浩;尹斌权;;基于Hadoop的GNSS网基线向量的分布式处理[J];全球定位系统;2017年04期
9 谢玮;刘斌;刘鑫;李玉;翟焱森;;大数据时代的石油地震勘探系统与软件平台[J];科技导报;2017年15期
10 史志凤;尹鹏程;张季一;于金羽;顾和和;;房地不动产测绘技术应用示范建设研究[J];北京测绘;2017年03期
中国硕士学位论文全文数据库 前10条
1 翟锐涛;MapReduce模型下的图像并行化处理研究[D];西安科技大学;2017年
2 王刚;海上井喷实时监控系统研究[D];西安石油大学;2017年
3 陈威;基于Hadoop的K-means遥感影像分类算法的研究[D];江西理工大学;2017年
4 郑峰弓;基于NoSQL的海量航空物流数据分布式存储研究[D];中国民航大学;2017年
5 李庆君;Hadoop架构下海量空间数据存储与管理[D];武汉大学;2017年
6 王广钰;基于Hadoop的时空大数据的分布式检索方法[D];中国科学院大学(中国科学院国家空间科学中心);2017年
7 舒昝;面向油田科技项目管理的大数据查询优化研究[D];东北石油大学;2017年
8 马冬旸;通信行为分析的大数据处理策略的研究[D];吉林大学;2017年
9 宋文卓;基于随机变分的在线监督主题模型与并行化实现[D];吉林大学;2017年
10 李璋;基于Hadoop的互联网数据营销系统的设计与实现[D];中国科学院大学(中国科学院工程管理与信息技术学院);2017年
【二级参考文献】
中国期刊全文数据库 前10条
1 刘纪平;张福浩;王亮;董春;王勇;徐胜华;钱新林;;面向大数据的空间信息决策支持服务研究与展望[J];测绘科学;2014年05期
2 宋伟东;孙尚宇;耿继原;王崇倡;;用大数据思维建构信息时代的电子政务[J];测绘科学;2014年05期
3 刘欣;王非;;两种GPU上改进的最短路径算法[J];计算机应用研究;2014年05期
4 高朝晖;张晓春;王遥;柴干;;高速公路路段交通运行状态的模糊综合评价方法[J];中国矿业大学学报;2014年02期
5 杨庆芳;梅朵;郑黎黎;马明辉;王伟;;基于云计算的城市路网最短路径遗传算法求解[J];华南理工大学学报(自然科学版);2014年03期
6 马宪民;刘妮;;自适应视野的人工鱼群算法求解最短路径问题[J];通信学报;2014年01期
7 邬开俊;鲁怀伟;;云环境下基于DPSO的任务调度算法[J];计算机工程;2014年01期
8 范建永;龙明;熊伟;;基于Hadoop的云GIS体系结构研究[J];测绘通报;2013年11期
9 林闯;苏文博;孟坤;刘渠;刘卫东;;云计算安全:架构、机制与模型评价[J];计算机学报;2013年09期
10 尹芳;冯敏;诸云强;刘睿;;基于开源Hadoop的矢量空间数据分布式处理研究[J];计算机工程与应用;2013年16期
中国硕士学位论文全文数据库 前10条
1 栾亚建;分布式文件系统元数据管理研究与优化[D];华南理工大学;2010年
2 肖培棕;分布式文件系统元数据负载均衡技术研究与实现[D];中国科学技术大学;2009年
3 邓清清;交通诱导系统的流量预测和路径优化并行算法研究[D];大连理工大学;2008年
4 朱珠;基于Hadoop的海量数据处理模型研究和应用[D];北京邮电大学;2008年
5 刘伟;海量遥感影像数据存储技术研究[D];国防科学技术大学;2007年
6 刘露;全球海量遥感影像数据的分布式管理技术研究[D];国防科学技术大学;2007年
7 郝思宝;数字正射影像建库关键技术研究[D];南京师范大学;2007年
8 潘磊颖;多元数据服务器环境下的元数据管理研究[D];华中科技大学;2007年
9 李建元;分层路径诱导算法与策略研究[D];陕西师范大学;2007年
10 丁卫嘉;基于ORACLE GeoRaster的遥感影像库技术研究[D];中国科学院研究生院(遥感应用研究所);2006年
【相似文献】
中国期刊全文数据库 前10条
1 陆锋;最短路径算法:分类体系与研究进展[J];测绘学报;2001年03期
2 肖金声;;关于最短路径算法[J];中山大学学报(自然科学版);1987年03期
3 马东岭;;城市公交网络的最短路径算法研究[J];科技信息;2008年26期
4 胡于杰;李响;;利用最短路径算法确定地理网络中心服务范围[J];地理与地理信息科学;2010年03期
5 郑年波;陆锋;李清泉;段滢滢;;顾及转向延误的时间依赖A~*最短路径算法[J];测绘学报;2010年05期
6 涂海丽;;最短路径算法及其应用探讨[J];科技广场;2011年09期
7 毛少武;张焕国;黄崇超;吴万青;;改进的K最短路径算法在通信网络中的应用[J];武汉大学学报(理学版);2013年06期
8 张效贤;最短路径算法的应用[J];甘肃高师学报;1999年02期
9 冯晓辉;;交通网络中的最短路径算法探索[J];计算机光盘软件与应用;2013年21期
10 窦桂琴;杨青;黄祖锋;王雪萍;;一种基于城市应急系统的最短路径算法[J];广西师范大学学报(自然科学版);2007年04期
中国重要会议论文全文数据库 前9条
1 王闯;董志江;;最短路径算法[A];吉林省测绘学会2008年学术年会论文集(下)[C];2008年
2 唐小勇;程琳;徐上;;考虑转向延误最短路径算法及实现[A];2007第三届中国智能交通年会论文集[C];2007年
3 陈再春;张云青;潘伯鸣;;最短路径算法在公交查询中的实现[A];首届长三角科技论坛数字区域建设与地理空间技术论坛优秀论文集[C];2004年
4 罗飞;魏开平;万润泽;;复杂网络中最短路径算法的研究及应用[A];2006全国复杂网络学术会议论文集[C];2006年
5 王明福;彭群生;;基于编码图的求解最短路径算法[A];中国计算机图形学进展2008--第七届中国计算机图形学大会论文集[C];2008年
6 孙绍河;朱瑞艳;;GIS中最短路径算法的研究[A];第二届“测绘科学前沿技术论坛”论文精选[C];2010年
7 张惠谦;;电信规划最短路径算法的Excel宏实现[A];中国通信学会信息通信网络技术委员会2005年年会论文集[C];2005年
8 王冬;张丽果;杜慧敏;韩俊刚;;基于R-Torus结构和最短路径算法的NoC建模[A];全国第19届计算机技术与应用(CACIS)学术会议论文集(上册)[C];2008年
9 冯盼盼;蔺宏伟;于金辉;;投影法生成网格上的路径[A];第六届全国几何设计与计算学术会议论文集[C];2013年
中国重要报纸全文数据库 前6条
1 本报记者 郭涛;机器大数据也离不开Hadoop[N];中国计算机报;2013年
2 本报记者 王星;Hadoop引发大数据之战[N];电脑报;2012年
3 本报记者 邹大斌;Hadoop一体机降低大数据门槛[N];计算机世界;2012年
4 孙定;云计算、大数据与Hadoop[N];计算机世界;2011年
5 乐天 编译;Hadoop:打开大数据之门的金钥匙[N];计算机世界;2012年
6 范范 编译;Hadoop用户可以使用多种搜索引擎[N];网络世界;2013年
中国博士学位论文全文数据库 前2条
1 廖远;一对一最短路径算法研究及车载导航系统设计[D];南昌大学;2012年
2 宋亚奇;云平台下电力设备监测大数据存储优化与并行处理技术研究[D];华北电力大学(北京);2016年
中国硕士学位论文全文数据库 前10条
1 邓增健;基于Hadoop的GIS网络最短路径算法研究[D];江西理工大学;2017年
2 吕志超;面向资源优化配置的集群航天器网络拓扑管理研究[D];哈尔滨工业大学;2015年
3 汤博蔚;基于云计算的智能交通系统[D];南京邮电大学;2015年
4 罗丽虹;考虑转向限制的路网中最短路径算法研究[D];清华大学;2015年
5 郭东;基于Virtools的煤矿井下逃生系统的研究[D];太原理工大学;2016年
6 吴友宝;Hadoop平台下基于路网加权分层和关联规则的最短路径算法研究[D];华南理工大学;2016年
7 陈志芳;基于最短路径算法的高速路网建模与实证研究[D];合肥工业大学;2016年
8 何亚琦;基于GPS轨迹的移动端最短网络距离推荐系统[D];湖南科技大学;2016年
9 冀陆兵;HTEDI算法的实现和改进[D];西南交通大学;2017年
10 邓礼礼;求图中受限制的所有最短路径算法的分析与研究[D];华东师范大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026