现在的位置: 首页 > 云计算 > 正文

MapReduce

2014年01月27日 云计算 ⁄ 共 779字 ⁄ 字号 评论关闭

秒速赛车公式 www.l19l7.cn ?MapReduce工作原理

?

一个Map-Reduce任务的执行过程以及数据输入输出的类型如下所示:

(input)<k1,v1> -> map -> <k2,v2> -> combine -> <k2,v2> ->
reduce -> <k3,v3>(output)

?

下面通过一个的例子并结合源代码来详细说明这个过程

WordCount示例

这也是Hadoop自带的一个例子,目标是统计文本文件中单词的个数。

假设有如下的两个文本文件来运行WorkCount程序:

Hello World Bye World

?

?

Hello Hadoop GoodBye Hadoop

?

?

?



map数据输入

Hadoop针对文本文件缺省使用LineRecordReader类来实现读取,一行一个key/value对,key取偏移量,value为行内容。

如下是map1的输入数据:

Key1

Value1

0

Hello World Bye World

如下是map2的输入数据:

Key1

Value1

0

Hello Hadoop GoodBye Hadoop

map输出/combine输入

如下是map1的输出结果

Key2

Value2

Hello

1

World

1

Bye

1

World

1

如下是map2的输出结果

Key2

Value2

Hello

1

Hadoop

1

GoodBye

1

Hadoop

1

?combine输出

Combiner类实现将相同key的值合并起来,它也是一个Reducer的实现。

如下是combine1的输出

Key2

Value2

Hello

1

World

2

Bye

1

如下是combine2的输出

Key2

Value2

Hello

1

Hadoop

2

GoodBye

1

?reduce输出

Reducer类实现将相同key的值合并起来。

如下是reduce的输出

Key2

Value2

Hello

2

World

2

Bye

1

Hadoop

2

GoodBye

1

即实现了WordCount的处理。

【上篇】
【下篇】

抱歉!评论已关闭.

  • 听,盲童唱出心底的阳光 2018-12-17
  • 老婆告老公索债780万 原是二人自导自演 2018-12-17
  • 井冈山交警开展重点车辆严重交通违法行为有奖举报工作 2018-12-17
  • 停车收费新政首日举报量攀升 2018-12-17
  • 这是世界杯开赛当晚的广西 2018-12-16
  • 【理上网来·喜迎十九大】建设世界一流军队的科学指南 2018-12-16
  • 第六届北京农业嘉年华--北京频道--人民网 2018-12-16
  • 【专题】节能降耗 保卫蓝天——浙江省暨杭州市2018年节能宣传周 2018-12-15
  • 【奋斗在新时代】劳道“歹猫”增色互联网“表情” 2018-12-15
  • 驾车撞倒城管队员反复碾压 义乌暴力摊贩被刑拘 2018-12-15
  • 《中国汽车报》2018“西部温暖计划”公益试驾活动即将启程 2018-12-14
  • 奇瑞新能源瑞虎3xe上市 售价8.98万 2018-12-14
  • 几家性价比超高的烤肉店 赶紧去试试 2018-12-14
  • 和“看着就想笑”说说你的“8421” 2018-12-13
  • 中共十八大以来藏语新词术语发布 2018-12-13
  • 406| 72| 904| 217| 798| 583| 978| 917| 969| 969|