收藏本站
《江西理工大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hadoop的K-means遥感影像分类算法的研究

陈威  
【摘要】:K-Means算法是一种数据挖掘分析方法,由于其简单高效的优点,并且在缺乏先验知识的情况下,可将具有相似光谱特征的对象聚集在一起,因此在遥感图像分类中得到广泛应用。但对于海量遥感影像的分类,传统并行计算框架MPI对硬件基础设施性能要求较高,且编程复杂,具有较大的应用局限性。因此具有高效性、高扩展性以及高容错性等优势的Hadoop分布式系统平台,在解决海量数据的存储与计算问题方面得到了广泛的应用。但由于遥感影像数据格式的特殊性,目前基于Hadoop云平台实现K-means算法对遥感影像数据的分类处理都需要对其进行数据格式转换,将其转换为CLILAB格式像素点的文本文件,造成Map和Reduce数目分配过多,出现网络传输耗时过多和内存分配不足的问题。因此如何对海量遥感数据进行有效组织、快速读取以及高效分类处理成为当前遥感领域研究的热点。本文利用Hadoop云平台强大的存储和计算能力,结合GDAL(栅格空间开源数据库)快速读取栅格图像能力,实现在Hadoop云平台上利用K-means算法直接对遥感影像数据进行分类处理,在保证分类精度的前提下,提高在Hadoop平台上利用K-means算法对海量遥感影像数据的分类效率。本文主要研究内容包括以下几个方面:(1)设计遥感影像的输入输出格式:由于Hadoop内置的数据输入输出格式不能实现对遥感影像数据的传输,本文继承Hadoop提供的数据输入输出格式的基类,在不破坏遥感影像数据结构的情况下,实现在Hadoop上对遥感影像数据的输入和输出,保证遥感影像数据信息的完整性。(2)提出基于Hadoop平台的遥感影像数据组织方式并采用相应的数据存取方法:结合HDFS和HBase各自的优点,将影像文件存储在HDFS,元数据信息存储在HBase,并采用相对应的基于特定分割粒度的遥感影像数据的存取方法,有效提高了云平台上对海量影像数据的存取效率。(3)提出基于Hadoop的K-means遥感影像分类算法:结合MapReduce分布式计算框架的编程模型以及GDAL对影像数据的快速读写能力,并对影响K-means算法分类的三个基本因素进行详细的分析,实现了K-means算法在Hadoop平台上直接对遥感影像数据的分类处理。利用搭建的Hadoop平台对不同数据量大小的影像数据进行了分类实验,从分类精度和平台性能两方面进行了分析。实验结果表明:本文方法分类结果的精度比ENVI软件K-means算法的处理结果有所提高,并与在Hadoop平台上利用K-means算法对转换后影像数据的分类处理结果相比提高了平台的运算能力以及计算效率。
【学位授予单位】:江西理工大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:P237

【参考文献】
中国期刊全文数据库 前10条
1 朱烨行;李艳玲;崔梦天;杨献文;;一种改进K-means算法的聚类算法CARDBK[J];计算机科学;2015年03期
2 常生鹏;马亿旿;蔡立军;丁玉成;;一种基于Hadoop的高分辨率遥感图像处理方法[J];计算机工程与应用;2015年11期
3 刘小利;徐攀登;朱国宾;李雪;;结合MapReduce和HBase的遥感图像并行分布式查询[J];地理与地理信息科学;2014年05期
4 韩伟;张学庆;陈旸;;基于MapReduce的图像分类方法[J];计算机应用;2014年06期
5 程付超;苗放;陈垦;;顾及结果完整性的遥感影像分布式边缘提取方法[J];计算机工程与设计;2014年02期
6 贾瑞玉;管玉勇;李亚龙;;基于MapReduce模型的并行遗传k-means聚类算法[J];计算机工程与设计;2014年02期
7 张利娜;张东芳;白亚彬;;基于GDAL的遥感影像快速读取与显示方法研究[J];西部资源;2014年01期
8 沈盛彧;刘哲;张平仓;张彤;吴华意;陈小平;;基于MapReduce的高分辨率遥感影像特征提取方法[J];长江科学院院报;2014年02期
9 冀素琴;石洪波;;基于MapReduce的K-means聚类集成[J];计算机工程;2013年09期
10 徐昌荣;王聪颖;;基于Hadoop集群的Sobel边缘检测[J];江西理工大学学报;2013年03期
中国博士学位论文全文数据库 前2条
1 黄风华;云环境下基于并行支持向量机的高光谱影像分类研究[D];福建师范大学;2014年
2 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
中国硕士学位论文全文数据库 前6条
1 殷兵;基于Hadoop的分布式遥感图像处理研究[D];华东师范大学;2015年
2 陈星雨;基于OPENGL和GDAL的卫星遥感图像处理系统的研究[D];华南理工大学;2013年
3 吕天然;基于MapReduce的可视化工作流遥感并行处理平台及关键技术研究[D];河南大学;2013年
4 李应安;基于MapReduce的聚类算法的并行化研究[D];中山大学;2010年
5 霍树民;基于Hadoop的海量影像数据管理关键技术研究[D];国防科学技术大学;2010年
6 李前进;核模糊聚类算法及其在图像分割中的应用[D];河北师范大学;2008年
【共引文献】
中国期刊全文数据库 前10条
1 高旭;桂志鹏;隆玺;栗法;吴华意;秦昆;;KDSG-DBSCAN:一种基于K-D Tree和Spark GraphX的高性能DBSCAN算法[J];地理与地理信息科学;2017年06期
2 欧阳浩;王智文;黄镇谨;;基于小生境遗传禁忌的粗糙聚类分析算法[J];计算机工程与设计;2017年10期
3 徐鹏程;王诚;;K-Means算法改进及基于Spark计算模型的实现[J];南京邮电大学学报(自然科学版);2017年04期
4 刘飞;唐雅娟;刘瑶;;K-means聚类算法中聚类个数的方法研究[J];电子设计工程;2017年15期
5 常青;;多层分布式防伪第三方物流管理系统设计[J];现代电子技术;2017年13期
6 朱丽萍;王显灿;李洪奇;王建东;王小朋;;基于Hadoop的地震属性数据存储结构[J];信息技术;2017年06期
7 周恩波;毛善君;李梅;孙振明;;GPU加速的改进PAM聚类算法研究与应用[J];地球信息科学学报;2017年06期
8 刘震;朱耀琴;;一种基于Spark的高光谱遥感图像分类并行化方法[J];电子设计工程;2017年12期
9 刘宝龙;苏金;;基于Hadoop平台的K-means聚类算法[J];计算机系统应用;2017年06期
10 孟佳伟;孙红;;基于Hadoop平台的K-means算法优化综述[J];软件导刊;2017年06期
中国博士学位论文全文数据库 前10条
1 周经纬;矢量大数据高性能计算模型及关键技术研究[D];浙江大学;2016年
2 黄祥志;基于智方体的地理时空栅格数据模型化研究[D];浙江大学;2015年
3 侯志通;条带状公路运营管理空间大数据降维组织及混合存储关键技术研究[D];浙江大学;2015年
4 李荣亚;双态云支持下高分辨率遥感存储与计算一体化研究[D];浙江大学;2014年
5 黄风华;云环境下基于并行支持向量机的高光谱影像分类研究[D];福建师范大学;2014年
6 程付超;面向海量遥感数据的分布式混合计算技术研究[D];成都理工大学;2014年
7 夏辉宇;基于MapReduce的遥感影像并行处理关键问题研究[D];武汉大学;2014年
8 范建永;基于Hadoop的云GIS若干关键技术研究[D];解放军信息工程大学;2013年
9 刘灿由;电子海图云服务关键技术研究与实践[D];解放军信息工程大学;2013年
10 任崇广;面向海量数据处理领域的云计算及其关键技术研究[D];南京理工大学;2013年
中国硕士学位论文全文数据库 前10条
1 翟锐涛;MapReduce模型下的图像并行化处理研究[D];西安科技大学;2017年
2 陈威;基于Hadoop的K-means遥感影像分类算法的研究[D];江西理工大学;2017年
3 李庆君;Hadoop架构下海量空间数据存储与管理[D];武汉大学;2017年
4 刘建红;基于Hadoop平台的聚类算法并行化研究[D];吉林大学;2017年
5 曾新励;基于Hadoop平台的分布式web日志分析系统的研究与实现[D];西南石油大学;2017年
6 邓增健;基于Hadoop的GIS网络最短路径算法研究[D];江西理工大学;2017年
7 张玉侠;基于Spark Streaming的流聚类算法StreamCKS的设计与实现[D];华侨大学;2017年
8 丁艺;基于内容的新浪微博舆情预测研究[D];首都经济贸易大学;2017年
9 刘震;云计算平台下遥感图像分类算法的并行化技术研究[D];南京理工大学;2017年
10 吕江波;基于出租车供需关系的大规模出租车轨迹数据挖掘研究[D];兰州交通大学;2016年
【二级参考文献】
中国期刊全文数据库 前10条
1 夏榆滨;刘丰滔;;面向云计算的广义影像金字塔与编码方法[J];华中科技大学学报(自然科学版);2012年S1期
2 范建永;龙明;熊伟;;基于HBase的矢量空间数据分布式存储研究[J];地理与地理信息科学;2012年05期
3 王瀚闻;翟涌光;郝蕾;;基于索贝尔算子的高分辨率遥感影像分割技术研究[J];科技创新导报;2012年22期
4 李东;潘志松;;一种适用于大规模变量的并行遗传算法研究[J];计算机科学;2012年07期
5 李德仁;童庆禧;李荣兴;龚健雅;张良培;;高分辨率对地观测的若干前沿科学问题[J];中国科学:地球科学;2012年06期
6 王丽晶;吴学峰;关雷;;浅析沿海区域卫星遥感影像图像增强技术研究[J];测绘与空间地理信息;2012年05期
7 薛胜军;刘寅;;基于Hadoop的气象信息数据仓库建立与测试[J];计算机测量与控制;2012年04期
8 李群;袁津生;;基于DBSCAN的最优密度文本聚类算法[J];计算机工程与设计;2012年04期
9 周家香;朱建军;梅小明;马慧云;;多维特征自适应MeanShift遥感图像分割方法[J];武汉大学学报(信息科学版);2012年04期
10 曾志;刘仁义;李先涛;张丰;包卫正;;一种基于分块的遥感影像并行处理机制[J];浙江大学学报(理学版);2012年02期
中国博士学位论文全文数据库 前10条
1 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
2 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年
3 谭琨;基于支持向量机的高光谱遥感影像分类研究[D];中国矿业大学;2010年
4 刘婷;土地资源信息语义服务发现与服务链研究[D];浙江大学;2010年
5 杜震洪;近海环境地物认知模型与智能服务聚合研究[D];浙江大学;2010年
6 姜小俊;海底浅层声学探测空间数据集成与融合模型及GIS表达研究[D];浙江大学;2009年
7 许欢;面向服务的土地资源空间信息多级语义网格研究[D];浙江大学;2009年
8 陈志荣;移动空间信息网格服务模型研究及实现方法[D];浙江大学;2008年
9 孙宏元;基于HPC的多分辨空间信息应用基础平台关键技术研究[D];西安电子科技大学;2006年
10 赵振;一种自适应海量存储系统组织策略及关键技术研究[D];华中科技大学;2006年
中国硕士学位论文全文数据库 前10条
1 梁世磊;基于Hadoop平台的随机森林算法研究及图像分类系统实现[D];厦门大学;2014年
2 陈星雨;基于OPENGL和GDAL的卫星遥感图像处理系统的研究[D];华南理工大学;2013年
3 曹健;基于支持向量机的图像分类方法研究[D];浙江师范大学;2013年
4 吕天然;基于MapReduce的可视化工作流遥感并行处理平台及关键技术研究[D];河南大学;2013年
5 李凌;基于OpenGL的遥感图像三维可视化重建[D];南京邮电大学;2013年
6 晋国涛;基于MapReduce的光线跟踪算法研究[D];郑州大学;2012年
7 高峥;海量遥感影像快速生成金字塔算法的研究与实现[D];华东师范大学;2012年
8 付天新;基于MapReduce模型的生态遥感参数反演并行化方法与实现[D];兰州交通大学;2012年
9 李波;基于Hadoop的海量图象数据管理[D];华东师范大学;2011年
10 赵辉辉;基于GDAL的农田信息系统研究[D];东北农业大学;2011年
【相似文献】
中国期刊全文数据库 前10条
1 王永红;;车载GPS数据在遥感影像纠正中的应用[J];测绘技术装备;2002年04期
2 陈秋晓,骆剑承,周成虎;基于多特征的遥感影像分析——一个新的视角[J];国土资源遥感;2003年01期
3 王占宏,杜道生;模糊综合评价法在数字遥感影像产品质量评价中的应用[J];测绘科学;2004年S1期
4 杜培军,唐宏,方涛;基于内容的遥感影像检索若干问题的研究[J];中国矿业大学学报;2005年03期
5 王占宏,杜道生;模糊综合评价法在数字遥感影像产品质量评价中的应用[J];武汉大学学报(信息科学版);2005年05期
6 汪承义;赵忠明;;遥感影像流程化处理系统的设计与实现[J];测绘科学;2006年06期
7 史本伟;陈圣波;湛邵斌;;遥感影像库中影像布局功能的开发实现[J];吉林大学学报(地球科学版);2006年S1期
8 江水;洪鸣;盛业华;;实现遥感影像的3维漫游[J];测绘与空间地理信息;2007年01期
9 任向红;陆宇红;仇生泉;;4D产品在遥感影像纠正中的应用[J];测绘与空间地理信息;2007年03期
10 鹿琳琳;郭华东;;利用遥感影像自动估算深圳福田城市人口[J];遥感信息;2008年02期
中国重要会议论文全文数据库 前10条
1 张广耀;汪小钦;邬群勇;;遥感影像地图在线服务系统设计与实现[A];第十七届中国遥感大会摘要集[C];2010年
2 熊剑;;地形起伏地区的遥感影像预处理研究[A];第十五届全国遥感技术学术交流会论文摘要集[C];2005年
3 傅晓俊;;遥感影像应用现状及其展望[A];测绘荆楚——湖北省测绘学会2005年“索佳杯”学术论文集[C];2005年
4 肖倩;李光耀;;航空遥感影像道路提取方法综述[A];全国第十届信号与信息处理、第四届DSP应用技术联合学术会议论文集[C];2006年
5 傅晓俊;;遥感影像应用现状及其展望[A];经天纬地——全国测绘科技信息网中南分网第十九次学术交流会优秀论文选编[C];2005年
6 李江涛;;遥感影像在海事测绘中的应用[A];2007'全国测绘科技信息交流会暨信息网成立30周年庆典论文集[C];2007年
7 胥亚;杜为财;袁立伟;叶荣生;;遥感影像道路提取现状与展望[A];第四届“测绘科学前沿技术论坛”论文精选[C];2012年
8 马海涛;;探讨遥感影像的校正与误差来源——以鸡西市为例[A];2006年中国土地学会学术年会论文集[C];2006年
9 李江涛;;遥感影像在海事测绘中的应用[A];华东地区第十次测绘学术交流大会论文集[C];2007年
10 杨博雄;;基于北斗二代与遥感影像的定位与导航技术研究[A];2009年全国测绘仪器综合学术年会论文集[C];2009年
中国重要报纸全文数据库 前10条
1 张鹏英;国产遥感影像迎来共享时代[N];科技日报;2013年
2 张玉惠;EV——GLOBE成功应用于辽宁电网建设[N];中国测绘报;2010年
3 彭舒;遥感影像几何和光谱高精度重建技术获突破[N];中国测绘报;2013年
4 记者 吴晶晶;我用遥感影像发现3处油迹带[N];新华每日电讯;2014年
5 李禾;我首颗环境卫星传回遥感影像[N];科技日报;2008年
6 侯振荣;黑龙江省制作分市县遥感影像系列挂图[N];中国测绘报;2009年
7 王智宇王春;航空航天技术助力抗震救灾[N];科技日报;2008年
8 沈占锋;遥感影像信息提取与分析[N];计算机世界;2006年
9 本报记者 郭涛;机器大数据也离不开Hadoop[N];中国计算机报;2013年
10 张超;让北京发展一目了然[N];科技日报;2005年
中国博士学位论文全文数据库 前10条
1 张丽;遥感影像协同处理体系及摄影测量应用研究[D];解放军信息工程大学;2015年
2 高永刚;多尺度多平台遥感影像在城市遥感中的应用研究[D];福州大学;2013年
3 夏辉宇;基于MapReduce的遥感影像并行处理关键问题研究[D];武汉大学;2014年
4 熊礼治;云环境下遥感影像内容安全研究[D];武汉大学;2016年
5 陈冲;面向多任务粒度的遥感影像镶嵌并行技术研究[D];南京大学;2015年
6 顾海燕;遥感影像地理本体建模驱动的对象分类技术[D];武汉大学;2015年
7 李铭;任务驱动的遥感影像检索案例推理方法研究[D];武汉大学;2014年
8 王贤敏;机密空间信息隐藏与遥感影像授权使用[D];武汉大学;2005年
9 刘亚岚;遥感影像群判读技术的试验研究[D];中国科学院研究生院(遥感应用研究所);2004年
10 程起敏;基于内容的遥感影像库检索关键技术研究[D];中国科学院研究生院(遥感应用研究所);2004年
中国硕士学位论文全文数据库 前10条
1 陈威;基于Hadoop的K-means遥感影像分类算法的研究[D];江西理工大学;2017年
2 孙晨阳;多尺度遥感影像道路信息提取方法研究[D];西南大学;2015年
3 邓董建;基于稀疏表达的遥感影像的多时相融合[D];中国地质大学(北京);2015年
4 于晓;TM/ETM+遥感影像蚀变异常提取与筛选系统开发[D];中国地质大学(北京);2015年
5 刘佳岐;基于Landsat8遥感影像的扶风县苹果园地信息提取研究[D];西北农林科技大学;2015年
6 张健;基于多源数据的遥感地质构造解译[D];长安大学;2015年
7 王金杰;基于语义的遥感影像数据检索关键技术研究[D];国防科学技术大学;2013年
8 李程;基于复杂网络的绿潮检测方法研究与应用[D];青岛大学;2015年
9 章琨;基于遥感影像的城市绿地提取技术研究[D];东华理工大学;2014年
10 段胜强;基于遥感影像的运动目标追踪标注的研究及应用[D];河南大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026