Apache Spark和node.js

Question

我想在JavaScript中使用Spark API从spark-submit调用node.js程序。 JavaScript中是否有任何此API的实现？

我知道可以从Hadoop调用外部映射器和reducer（用JavaScript编写），但我希望能够将整个程序作为Spark的一个作业运行。

Answer 1

有一个名为EclairJS的新项目，它提供了来自Node和JavaScript的Spark API，请参阅https://github.com/EclairJS/eclairjs-node 。

Answer 2

我不相信当前的JavaScript spark包装器，但是我会查看Spark管道界面上的信息，这将允许您使用Spark中的JavaScript代码。 祝你的Spark和Javascript冒险好运（遗憾的是，有一个关于Spark和ScalaJS的愚人节玩笑，这使得搜索有关Spark + Javascript的信息有点棘手）。