spark-submit 与 python 入口点

Question

我有一个脚本wordcount.py
我使用 setuptools 创建了一个名为wordcount的入口点，因此现在我可以从系统中的任何位置调用该命令。
我试图通过 spark-submit（命令： spark-submit wordcount ）执行它，但它失败并出现以下错误：

Error: Cannot load main class from JAR file:/usr/local/bin/wordcount Run with --help for usage help or --verbose for debug output

但是，当我提供 python 脚本的路径时，完全相同的命令可以正常工作（命令： spark-submit /home/ubuntu/wordcount.py ）

wordcount.py 的内容

import sys
from operator import add

from pyspark.sql import SparkSession

def main(args=None):
    if len(sys.argv) != 2:
        print("Usage: wordcount <file>", file=sys.stderr)
        exit(-1)

    spark = SparkSession\
        .builder\
        .appName("PythonWordCount")\
        .getOrCreate()

    lines = spark.read.text(sys.argv[1]).rdd.map(lambda r: r[0])
    counts = lines.flatMap(lambda x: x.split(' ')) \
                  .map(lambda x: (x, 1)) \
                  .reduceByKey(add)
    output = counts.collect()
    for (word, count) in output:
        print("%s: %i" % (word, count))

    spark.stop()

if __name__ == "__main__":
    main()

你知道有没有办法绕过这个？
非常感谢。

Answer 1

当您运行spark-submit wordcount ，它将 wordcount 视为将要执行类的 jar 文件。
此外，它会尝试在路径/usr/local/bin查找 jar，因为您尚未指定类路径。
请提供wordcount文件的内容。 如果可能，请尝试在使用spark-submit执行时提供wordcount的路径。

查看此链接以获取更多信息。 关于 spark-submit 命令： https : //spark.apache.org/docs/latest/submitting-applications.html

Answer 2

我发现如果你将入口点重命名为.py后缀， spark-submit会接受它作为一个 python 应用程序：

entry_points={
    'console_scripts': [
        'wordcount.py = mymodule.wordcount:main',
    ],
}

然后提交按预期被接受：

spark-submit ./bin/wordcount.py