首页 > 编程知识 正文

hadoop fs -tail,reducer翻译

时间:2023-05-04 05:22:42 阅读:111876 作者:1204

1、Reducer类、Map进程输出的键值对【(k2; Reduce输入是(k2 ),因为v2 )被合并,并且同一主键下的不同值被合并到一个列表【v2】中; 【v2】)。 Reducer对传递来的中间结果列表数据进行某种整理或进一步处理,生成最终的某种形式的结果输出【() k3; v3 )】

示例Reducer类的基本定义

publicstaticclassintsumreducerextendreducertext,IntWritable,text,IntWritable

抽象类Reducer位于org.Apache.Hadoop.MapReduce.reducer keyin、VALUEIN、KEYOUT和VALUEOUT的主要方法中

保护性上下文(上下文上下文; protextedvoidreduce (密钥,IterableVALUEIN values,上下文上下文); 公共语音运行(上下文上下文); 保护性语音设置(上下文上下文;

2//reduce (方法

protectedvoidReduce(keyinkey,IterableVALUEIN values,上下文上下文) throws IOException,InterruptedException{}

其中输入参数key是传递给reduce的键值,values是与键值对应的值的列表,context是程序访问Hadoop环境对象的环境对象参数

3、setup (和cleanup )方法

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。