本文旨在提供一个清晰的 hadoop mapreduce 教程，指导开发者如何将 Reduce 函数的输出结果格式化为 (Key, Value 列表) 的形式。通过详细的代码示例和逐步解释，帮助读者理解如何处理 Iterable
在 Hadoop mapreduce 编程中，经常需要将具有相同 Key 的多个 Value 收集起来，形成一个列表，然后将 Key 和 Value 列表作为 Reduce 函数的输出。 本文将介绍如何实现这一目标，并提供详细的代码示例和注意事项。
Map 函数
首先，我们需要一个 Map 函数，它将输入数据转换为 Key-Value 对。在这个例子中，我们假设输入数据是文本文件，每行包含两个数字，第一个数字作为 Key，第二个数字作为 Value。
import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class MyMapper extends Mapper<LongWritable, Text, IntWritable, Text> { @Override public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); StringTokenizer tokenizer = new StringTokenizer(line); String token1 = tokenizer.nextToken(); String token2 = tokenizer.nextToken(); context.write(new IntWritable(Integer.parseInt(token1)), new Text(token2)); } }
这段代码首先读取输入行，然后使用 StringTokenizer 将其分割成两个 token。第一个 token 被解析为整数，并用作 Key（IntWritable 类型），第二个 token 直接作为 Value（Text 类型）。context.write() 函数将 Key-Value 对写入到上下文中，以便后续的 Shuffle 和 Reduce 阶段使用。
Reduce 函数
Reduce 函数接收具有相同 Key 的 Value 列表，并将它们组合成一个字符串列表。以下是一个示例：
import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; public class MyReducer extends Reducer<IntWritable, Text, IntWritable, Text> { String iterableToString(Iterable<Text> values) { StringBuilder sb = new StringBuilder("["); for (Text val : values) { sb.append(val.toString()).append(","); } if (sb.length() > 1) { sb.setLength(sb.length() - 1); // Remove the trailing comma } sb.append("]"); return sb.toString(); } @Override public void reduce(IntWritable key, Iterable<Text> values, Context context) throws IOException, InterruptedException { context.write(key, new Text(iterableToString(values))); } }
在这个 Reduce 函数中，iterableToString 方法负责将 Iterable
完整示例
假设输入数据如下：
1 5 2 8 1 3 2 7 4 9
经过 Map 和 Reduce 阶段，输出结果将会是：
1 [5,3] 2 [8,7] 4 [9]
编译错误及解决方法
在提供的代码中，出现了一个编译错误：
[javac] /home/zih-yan/hadoop_tutorial/src/f.java:32: error: cannot find symbol [javac] sb.append(val.get()).append(","); [javac] ^ [javac] symbol: method get() [javac] location: variable val of type Text
这个错误的原因是 Text 类的 get() 方法返回的是 byte[] 类型，而不是 String 类型。解决方法是将 val.get() 替换为 val.toString()。
另外，确保你正确导入了 Text 类：
import org.apache.hadoop.io.Text;
注意事项
- 数据类型： Hadoop MapReduce 使用的是 Hadoop 的序列化数据类型，例如 IntWritable、Text 等。确保你的 Map 和 Reduce 函数使用这些类型。
- Iterable 处理： 在 Reduce 函数中，Iterable
是一个迭代器，只能遍历一次。如果需要多次使用 Value 列表，可以将其转换为 List。 - 字符串格式化： 在将 Value 列表转换为字符串时，需要注意处理空列表和最后一个元素后面的逗号。
总结
本文介绍了如何在 Hadoop MapReduce 中实现将 Reduce 函数的输出格式化为 (Key, Value 列表) 的形式。通过 Map 函数将输入数据转换为 Key-Value 对，然后在 Reduce 函数中将具有相同 Key 的 Value 组合成一个字符串列表。同时，本文还提供了解决编译错误的常见方法和注意事项，确保读者能够顺利运行代码。
