cygwin hadoop映射减少问题

Question

我在让map / reduce示例在cygwin上工作时遇到问题： http : //www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/

在cygwin下，将-mapper = mapper.py结果传递给“ CreateProcess error = 193，％1不是有效的Win32应用程序”

我尝试使用-mapper =“ python mapper.py”，它给出错误：java.lang.RuntimeException：PipeMapRed.waitOutputThreads（）：子进程失败，代码为1

有人在cygwin下使用python成功运行hadoop map / reduce吗？

谢谢。

Answer 1

我在Cygwin的指导下取得了成功。 我正在WinXP的Cygwin 1.7.9-1下使用hadoop-0.20.2。 我没有看到您的确切信息...不过，我正在回答，因为我确实对-mapper选项有一些麻烦，并通过将python脚本放在/ tmp目录中来解决了该问题。 我看到了一些错误消息，使我认为/ home目录在Cygwin下的命名方式有些混乱。 我决定通过使用/ tmp避免这种情况，并获得了成功。 我也使用单引号，顺便说一句。 有时在Windows中粘贴双引号会给您一个Unix进程无法理解的字符。

顺便说一句，我还利用了教程re。 让Hadoop在Cygwin和Eclipse下运行： http : //ebiquity.umbc.edu/Tutorials/Hadoop/接近尾声的Eclipse / java东西对我来说不起作用，也不是我打算与Hadoop一起工作的方式。 但是，最初的几个步骤有助于使伪集群正常运行。