修改wordcount源代码：hadoop示例。 如何将定界符更改为“。”，“，”或“”？

Question

我是hadoop和Java的新手。 我正在使用Hadoop 2.X，并尝试更改wordcount源代码，以便在文本上运行wordcount时，它同时考虑“。”，“，”或“”分隔符，而不仅仅是“ \\ t”。 我发现使用此更改配置：

conf.set("mapreduce.input.keyvaluelinerecordreader.key.value.separator", " ");

但即使将分隔符更改为“，”也无法正常工作。 代码运行时没有崩溃，但是我得到的结果与使用默认定界符“ \\ t”运行wordcount的结果相同。

谢谢你的帮助！

Answer 1

您在寻找正确的位置。 您不需要更改源代码：只需添加命令行arg

bin/hadoop job -Dkey.value.separator.in.input.line=,

请注意，属性名称已更改。

此外，它可能不支持您要查找的多个定界符。

您可以在这里找到更多信息http://www.feeny.org/changing-keyvalue-split-delimeter-in-hadoop-20-2/

更新

这是您可能会更改的来源

 public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

22字符串行= value.toString（）; 23 StringTokenizer tokenizer =新的StringTokenizer（line，“。，”）;