以流的形式获取map-reduce作业的结果

Question

我想用Java写一个map-reduce作业，我有可能以流（可能是输出流）而不是物理输出文件的形式获取作业的输出。 我的目标是将流用于另一个应用程序。

Answer 1

您可以编写“自定义输出格式”，并将其用于所需的任何流。 不一定是文件。 请参阅本教程，了解如何编写自定义输出格式。

否则，您可以使用Hadoop Streaming API。 在这里看看。

Answer 2

我认为您无法使用Apache-Hadoop做到这一点。 它被设计为在分布式系统中工作，并且AFAIK提供了一种发出output stream将无法达到目的，因为系统将如何决定要发出的流 ，即哪个减速器！ 您可能会写入一个平面文件/ DB / amazon-s3等，但也许不会得到流 。