在 PyFlink 中導入本地包

Question

我正在嘗試在 PyFlink 項目中編寫本地 package 。 但我只能通過相對路徑導入。

喜歡

from .package import func

我可以在導入為env.add_python_file('/path_to_project') PyFlink 項目中的包中使用絕對路徑嗎？

Answer 1

For using absolute paths answer from https://lists.apache.org/list.html?user@flink.apache.org : for abstract structure the directory:

flink_app/
    data_service/
        filesystem.py
    validator/
        validator.py
    common/
        constants.py
    main.py <- entry job

提交 PyFlink 作業時，您可以指定 python 文件並使用選項 --pyFiles 和 --pyModule[1] 進入主模塊，例如：

$./bin/flink run --pyModule flink_app.main --pyFiles ${WORKSPACE}/flink_app

這樣，該目錄下的所有文件都將被添加到本地客戶端和遠程 python UDF worker 的 PYTHONPAHT 中。