如何将Hudi Package添加到本地AWS Glue Interactive Notebook

Question

我已经按照https://docs.aws.amazon.com/glue/latest/dg/interactive-sessions.html在本地设置了 Glue Interactive 会话但是，我无法向交互式 session 添加任何其他包，例如 HUDI

有一些神奇的命令可以使用，但不确定哪个是合适的以及如何使用

%additional_python_modules
%extra_jars
%extra_py_files

Answer 1

我无法对该问题发表评论，因此请添加指向已收到答案的类似问题的链接。

关于魔术命令，您将在启动胶水交互式笔记本后找到说明。 我也在这里添加它们。

• %additional_python_modules 列表 pip 包、s3 路径或私有 pip arguments 的逗号分隔列表。
  • %additional_python_modules ['path_to_pip_package_1', 'path_to_pip_package_2']
• %extra_jars List 要包含在集群中的其他 Jars 的逗号分隔列表。
• %extra_py_files List 来自 S3 的其他 Python 文件的逗号分隔列表。

Answer 2

就我而言，我在 *.py 和 *.zip 文件中有一些 Python 辅助函数（也包含一些 *.py 文件，但只是压缩）。 这有效：

%extra_py_files 's3://bucket/a.py,s3://bucket/b.py,s3://bucket/c.zip'

%additional_python_modules对我不起作用所以我认为这个魔法只适用于whl文件¯\_(ツ)_/¯