计算机科学 ›› 2014, Vol. 41 ›› Issue (Z11): 333-336.
孙彦超,王兴芬
SUN Yan-chao and WANG Xing-fen
摘要: 对某高校教学资源平台的海量日志进行了分析,将传统单机分析处理模式,转变为Hadoop框架下的MapReduce分布式处理模式。MapReduce采用分而治之的思想,很好地解决了单机对海量数据处理产生的瓶颈问题。通过分析Hadoop源码的使用,认真研究MapReduce对海量数据处理作业流程分析,提出了MapReduce分布式作业计算的优化策略,从而更好地提高了海量数据的处理效率。
[1] 汤姆.Hadoop权威指南[M].北京:清华大学出版社,2010:63-65 [2] HDFShttp://hadoop.apache.org [3] MapReducehttp://hadoop.apache.org [4] 徐子沛.大数据:正在到来的数据革命[M].桂林:广西师范大学出版社,2012:23-30 [5] 李小庆.银行面向大数据分析决策系统的构建[J].金融科技时代,2013:1-2 [6] 刘欢,张瑾.数据挖掘改善校园网体验 [J].中国教育网络,2012(1):27-30 [7] 范范.大数据前景展望[N].网络世界,2012,(5) [8] 李开复.云计算[J].中国教育网络,2008(6):34 [9] NfcKinsey Global Institute.Big data:The next frontier for innovation ompetition and productivity [R].2011(1) [10] 白云川.迎接大数据的时代[J].中国制造业信息化,2011(2) [11] 蒋杰.Big Data技术综述[J].程序员,2011:2-3 [12] 董彩云,等.数据挖掘及其在高校教学系统中的应用[J].济南大学学报:自然科学版,2004:1-2 [13] 大数据时代下.企业信息管理的新革命[J].网络与信息,2012(4):7 |
No related articles found! |
|