通过Hadoop StreamingAPI使用perl写MapReduce

BigData 专栏收录该内容
1 篇文章 0 订阅

Hadoop一般使用Java来写MapReduce,但是也支持其他语言和脚本,类似于管道的概念。即将中间结果通过管道输出给某一可执行文件或脚本,让其充当Map或者Reduce

Perl实现MapReduceWordCount为例,代码如下(可以对比Java的结果):

Mapper.pl

 

while(<>){
chomp;
@arr = split /\s/;
for $word(@arr){
print "$word\t1\n";
}
}

Reducer.pl

my $last_key = "";
my $key = "";
$n = 0;
$firstLine = 1;
while(<>){
	chomp;
	@arr = split(/\t/,$_);
	$key = $arr[0];
	$value = $arr[1];
	if($firstLine == 1){
		$last_key = $arr[0];
		$firstLine = 0;
	}
	if($key ne $last_key){
		print "$last_key\t$n\n";
		$last_key = $key;
		$n = 1;
	}
	else{
		$n++;
	}
}
print "$last_key\t$n\n";

执行:

E:\Code\hadoop-2.4.1\bin\hadoop.cmd jar "E:\Code\hadoop-2.4.1\share\hadoop\tools\lib\hadoop-streaming-2.4.1.jar" -input test.txt -output output -mapper "perl mapper.pl" -reducer "perl reducer.pl"

结果:

 

 

  • 1
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

打赏
文章很值,打赏犒劳作者一下
相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页

打赏

xddc

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值