博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop多文件输出
阅读量:6996 次
发布时间:2019-06-27

本文共 1485 字,大约阅读时间需要 4 分钟。

原文链接:http://www.cnblogs.com/zhoujingyu/p/5316070.html

  现实环境中,常常遇到一个问题就是想使用多个Reduce,但是迫于setup和cleanup在每一个Reduce中会调用一次,只能设置一个Reduce,无法是实现负载均衡。

   问题,如果要在reduce中输出两种文件,一种是标志,另一种是正常业务数据,实现方案有三种:

  (1)设置一个reduce,在reduce中将数据封装到一个集合中,在cleanup中将数据写入到hdfs中,但是如果数据量巨大,一个reduce无法充分利用资源,实现负载均衡,但是如果数据量较小,可以使用

  (2)设置多文件输出,使用MultipleOutputs类 具体见代码:

private MultipleOutputs mos;     @Override   protected void setup(Context context)   throws IOException, InterruptedException {     mos=new MultipleOutputs(context);  }   @Override   protected void reduce(Text key, Iterable
values, Context context) throws IOException, InterruptedException { String key1=key.toString(); for(Text t:values){ if(key1.equals("a")){ mos.write("a", key,t); } else if(key1.equals("b")){ mos.write("b", key,t); } else if(key1.equals("c")){ mos.write("c", key,t); } } } @Override protected void cleanup( Context context) throws IOException, InterruptedException { mos.close(); }

  main方法中配置

MultipleOutputs.addNamedOutput(job, "a", TextOutputFormat.class, Text.class, Text.class);  MultipleOutputs.addNamedOutput(job, "b", TextOutputFormat.class, Text.class, Text.class);  MultipleOutputs.addNamedOutput(job, "c", TextOutputFormat.class, Text.class, Text.class);

  结果文件为  a-r-0000,b-r-0000,c-r-0000,part-r-0000  

(3)第三种方案是自己实现多文件输出 详见http://blog.csdn.net/qingmu0803/article/details/39665407

 

转载于:https://www.cnblogs.com/lnlvinso/p/6886291.html

你可能感兴趣的文章