适用于Apache Spark的perl API？

Question

我是perl的长期开发人员，并且被告知“学习Apache Spark”。 所以我的计划是：1）弄清楚Apache Spark是什么，2）弄清楚如何使用perl与之交谈。 我们在这里尚处于起步阶段...

我看到很多网页，例如https://www.kdnuggets.com/2018/05/apache-spark-python-scala.html ，上面写着“尽管Spark拥有适用于Scala，Python，Java和R的API，但是语言是前两种。”

我在哪里找不到关于Spark的perl API的任何信息-搜索CPAN时发现了一些名称为“ Spark”的东西，但实际上没有任何意义。 这令人困惑……Spark最受欢迎的API之一如何面向Python，而对于perl却一无所有？

我很难接受“您只能通过Python与Spark交谈，而不能与perl交谈”，但这就是我目前为止的目的。 所以我的问题是，perl社区如何与Apache Spark进行交互，就功能的完整性而言，该设施与Python设施相比如何？

Answer 1

看来CPAN上确实没有Perl API或其他。 我观察到的其他人正在从Scala调用Perl脚本： https ://wiki.ufal.ms.mff.cuni.cz/spark:recipes: using- perl-via- pipes

https://spark.apache.org/docs/latest/rdd-programming-guide.html上的文档针对管道进行了说明：

通过外壳命令（例如Perl或bash脚本）通过管道传输RDD的每个分区。 将RDD元素写入进程的stdin，并将输出到其stdout的行作为字符串的RDD返回。

应当指出，python是通过java网关支持的。

等效的操作可以在Perl中使用Java之类的发行版来完成。