使用Spark在python中運行獨立應用程序示例時出錯

Question

我剛剛開始使用Spark，並在Amazon EC2實例上以獨立模式運行它。 我正在嘗試文檔中提到的示例，並且在瀏覽名為Simple App的示例時，我不斷收到此錯誤：NameError：未定義名稱'numAs'

from pyspark import SparkContext

logFile = "$YOUR_SPARK_HOME/README.md"  # Should be some file on your system
sc = SparkContext("local", "Simple App")
logData = sc.textFile(logFile).cache()

numAs = logData.filter(lambda s: 'a' in s).count()
numBs = logData.filter(lambda s: 'b' in s).count()

print "Lines with a: %i, lines with b: %i" % (numAs, numBs)

如何將編輯器集成到spark中而不使用此動態python shell？ 為什么我不斷收到此錯誤？

感謝您的幫助/指導。

Answer 1

將您所有的python代碼放入.py文件 ，然后提交.py文件，如下所示：

# Run a Python application on a Spark Standalone cluster
./bin/spark-submit \
  --master spark://207.184.161.138:7077 \
  examples/src/main/python/pi.py \
  1000

在這里閱讀：

提交申請

試試這些例子，確實有幫助：

• https://spark.apache.org/examples.html
• https://github.com/apache/spark/tree/master/examples/src/main/python