如何在 PySpark 中读取 spark-submit 提交的 .ini 文件？

Question

我将我的应用程序和我的 .ini 文件提交给 Spark，如下所示：

spark-submit \
--master ... \
--files /path/of/config.ini \
--py-files /path/of/py.zip \
/path/of/my_script.py

在my_script.py中，我尝试像这样阅读config.ini ：

with open('config.ini') as f:
  print(f.readline)

但它返回一个错误告诉我No such file or directory: config.ini ，读取config.ini内容的正确方法是什么？

Answer 1

我已经复制了你的代码

**** 示例.py******************

import sys
# read argumets

from pyspark.sql import SparkSession
spark = SparkSession.builder \
      .master("local[1]") \
      .appName("sample app") \
      .getOrCreate() 
      

file=sys.argv[1]
print("file name :",file)

if __name__ == '__main__':
    with open(file) as f:
         print("read file :",f.readline())

****** config.ini *********** 这是示例文本

********* Spark-提交*********

spark-submit --master local \path to\sample.py \path to\config.ini

这运行完美，没有错误。

我认为您缺少路径：-

提供读取文件内容的完整路径

File=sys.argv[1] with open(\path to\file) as f: