收藏本站
《武汉邮电科学研究院》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

基于MapReduce的海量关系数据处理技术设计与优化

黄奇鹏  
【摘要】:随着1995年因特网向全世界发展开始,信息技术的迅猛成长,数据也呈现出“海量化”的趋势。关系数据是数据直接或间接存在着关联的体现,这些数据隐含了各种关系网络,于是人们逐渐开始关注海量的关系数据的处理的研究。近几年,关于海量数据的去重、连接查询处理及其优化技术逐渐成为研究热点。为了减少海量关系数据冗余的影响,提升其连接查询的效率,本文借鉴传统海量关系数据处理技术的经验,提出基于MapReduce的海量关系数据处理系统,并对该系统设计思路、体系结构、处理流程进行了论述。首先以海量WiFi上下线日志去重处理为例,将大规模并行数据处理框架MapReduce应用于海量关系数据去重处理之中。然后设计了基于MapReduce连接查询处理方法,通过基于Reduce的连接与基于Map的连接方法解决了两表连接查询与多表连接查询的处理问题。接着对MapReduce进行了改进,通过将Map阶段产生的中间结果与历史数据同时作为输入,以流的方式推送给后一个任务的Map,进而让数据在MapReduce作业间全局共享。在进入Reduce阶段前重写partition对数据重新分区进而解决了MapReduce海量上下线日志数据去重统计内存溢出的不足。同时针对关系数据连接查询任务的特点,回顾了SMapReduce框架的优化思路,在此基础上,提出了Commander连接查询处理算法。通过增加Commander节点,用于接收,存储并更新少量全局信息,全局信息经过该节点与每个Map节点通信,进而对map的数据进行过滤,避免了对无用元组的传递和排序,降低了处理代价,提高了连接查询处理算法的效率。最后通过实验对传统去重技术与MapReduce以及改进系统进行去重性能对比测试,检测了去重流程的改进性能,改进系统的在海量数据的背景下,有着良好的运行效率,且避免了内存的溢出问题;同时通过实验将改进后系统分别与MapReduce、SMapReduce进行连接查询性能对比测试,进而检测连接查询的改进性能。结果表明改进框架能够有效地处理连接查询,过滤掉大量的不必要中间输出,具有良好的性能。
【学位授予单位】:武汉邮电科学研究院
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP311.13

【相似文献】
中国期刊全文数据库 前10条
1 杨武,文守逊;汇总型多表连接查询的一种优化方法[J];计算机系统应用;2000年01期
2 徐帆;汇总型多表连接查询的一种优化方法[J];计算机工程与设计;2002年10期
3 张雷;唐桂芬;苏冉冉;;基于通用空间连接图的适应性多元空间连接查询[J];计算机光盘软件与应用;2013年13期
4 彭建平,王变琴;再探多连接查询优化方法[J];中山大学学报(自然科学版);2001年02期
5 刘宇,孙莉,田永青;并行空间连接查询处理[J];上海交通大学学报;2002年04期
6 王果,徐仁佐;结合哈希过滤的一种改进多连接查询优化算法[J];计算机工程;2004年07期
7 陈恕胜;刘卫东;;基于图的适应性多连接查询优化算法[J];计算机工程;2009年10期
8 郭聪莉;朱莉;李向;;基于蚁群算法的多连接查询优化方法[J];计算机工程;2009年10期
9 王翀;姚东辉;林泽东;;连接查询在单表中的妙用[J];福建电脑;2009年07期
10 邢文端;;简谈SQL SERVER 2000中的连接查询[J];读与写(教育教学刊);2009年11期
中国重要会议论文全文数据库 前2条
1 唐桂芬;廖巍;景宁;陈荦;;面向GML的渐进式合并空间连接查询[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
2 玄萍;李建中;李金宝;张兆功;;并行数据库多连接查询的新优化算法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
中国硕士学位论文全文数据库 前10条
1 陈洋;云环境下空间大数据连接查询处理算法的研究与实现[D];东北大学;2014年
2 蔡泽野;基于GPU的多连接查询优化[D];华南理工大学;2016年
3 尚宏佳;基于新型计算架构的大规模数据连接查询优化[D];桂林电子科技大学;2016年
4 吴聪聪;面向WFS服务的复杂空间连接查询优化研究[D];桂林理工大学;2016年
5 王雷;面向分布式数据库的连接查询优化[D];华东师范大学;2017年
6 胡亚;基于HBase的数据管理系统设计与实现[D];华中科技大学;2016年
7 王涛;大规模RDF图数据的SPARQL Theta连接查询处理研究[D];华中科技大学;2016年
8 黄奇鹏;基于MapReduce的海量关系数据处理技术设计与优化[D];武汉邮电科学研究院;2018年
9 王敏;面向移动计算环境的连接查询处理模式研究[D];江苏大学;2007年
10 李攀;基于遗传算法的分布式多连接查询优化系统设计与实现[D];云南大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026