如何在Hadoop流中将unprintable指定为键值分隔符

Question

att。 我正在使用stream.map.output.field.separator =指定分隔符

Answer 1

无论如何，我不确定您是否可以通过-Dkey = value通用选项语法来传递不可打印的字符，但是您应该能够修改代码以允许对转义类代码进行特殊解释：

• http://svn.apache.org/viewvc/hadoop/common/tags/release-1.0.3/src/contrib/streaming/src/java/org/apache/hadoop/streaming/PipeMapper.java?view=markup-第78行是从作业conf读取分隔符的位置

修改此代码，您可以检测到&#x类的前缀，并将尾随字符视为十六进制编码，因此可以将Tab作为-Dstream.map.output.field.separator=&#x09传递。