计算机科学 ›› 2014, Vol. 41 ›› Issue (Z11): 333-336.

• 数据挖掘 • 上一篇    下一篇

基于Hadoop框架的MapReduce计算模式的优化设计

孙彦超,王兴芬   

  1. 北京信息科技大学 北京100192;北京信息科技大学 北京100192
  • 出版日期:2018-11-14 发布日期:2018-11-14

MapReduce Designed to Optimize Computing Model Based on Hadoop Framework

SUN Yan-chao and WANG Xing-fen   

  • Online:2018-11-14 Published:2018-11-14

摘要: 对某高校教学资源平台的海量日志进行了分析,将传统单机分析处理模式,转变为Hadoop框架下的MapReduce分布式处理模式。MapReduce采用分而治之的思想,很好地解决了单机对海量数据处理产生的瓶颈问题。通过分析Hadoop源码的使用,认真研究MapReduce对海量数据处理作业流程分析,提出了MapReduce分布式作业计算的优化策略,从而更好地提高了海量数据的处理效率。

关键词: Hadoop,海量数据,MapReduce,分布式计算

Abstract: Aiming at a university teaching resource platform for massive log analysis,analysis and processing are transformed from the traditional stand-alone mode to using Hadoop MapReduce framework under the distributed processing.MapReduce uses the idea of dividing and rule,which is good solution to the bottleneck problem alone generated massive data processing.Through the use of Hadoop source code analysis and careful study of massive data processing using MapReduce job flow analysis,this paper presented optimization strategy MapReduce distributed computing operations to better improve the processing efficiency of massive data.

Key words: Hadoop,Massive data,MapReduce,Distributed computing

[1] 汤姆.Hadoop权威指南[M].北京:清华大学出版社,2010:63-65
[2] HDFShttp://hadoop.apache.org
[3] MapReducehttp://hadoop.apache.org
[4] 徐子沛.大数据:正在到来的数据革命[M].桂林:广西师范大学出版社,2012:23-30
[5] 李小庆.银行面向大数据分析决策系统的构建[J].金融科技时代,2013:1-2
[6] 刘欢,张瑾.数据挖掘改善校园网体验 [J].中国教育网络,2012(1):27-30
[7] 范范.大数据前景展望[N].网络世界,2012,(5)
[8] 李开复.云计算[J].中国教育网络,2008(6):34
[9] NfcKinsey Global Institute.Big data:The next frontier for innovation ompetition and productivity [R].2011(1)
[10] 白云川.迎接大数据的时代[J].中国制造业信息化,2011(2)
[11] 蒋杰.Big Data技术综述[J].程序员,2011:2-3
[12] 董彩云,等.数据挖掘及其在高校教学系统中的应用[J].济南大学学报:自然科学版,2004:1-2
[13] 大数据时代下.企业信息管理的新革命[J].网络与信息,2012(4):7

No related articles found!
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
No Suggested Reading articles found!