如何在 Kubernetes 中使用 flink-s3-fs-hadoop

Question

我在 flink 的文档中看到以下信息 - 将相应的 jar 复制到插件目录以使用 s3。 如果我使用 Kubernetes 部署 Flink，我该怎么做。

“要使用 flink-s3-fs-hadoop 或 flink-s3-fs-presto，请在启动 Flink 之前将相应的 JAR 文件从 opt 目录复制到 Flink 发行版的 plugins 目录，例如

mkdir./plugins/s3-fs-presto cp./opt/flink-s3-fs-presto-1.9.0.jar./plugins/s3-fs-presto/"

Answer 1

如果您在官方文档中引用 k8s 设置，您可以简单地重新创建您的图像。

1. 查看Github 存储库中的 Docker 文件
2. 将flink-s3-fs-presto-1.9.0.jar到与 Docker 文件相同的文件夹中
3. 在COPY docker-entrypoint.sh之前添加以下内容

# install Flink S3 FS Presto  plugin
RUN mkdir ./plugins/s3-fs-presto
COPY ./flink-s3-fs-presto-1.9.1.jar ./plugins/s3-fs-presto/

4. 构建映像，对其进行标记并推送到 Docker 集线器
5. 在您的部署 yml 文件中，将图像名称更改为您刚刚创建的名称
6. 然后，您可以在配置 yml 文件中使用 s3://xxxxx（例如 flink-configuration-configmap.yaml）

Answer 2

如果您使用作为 flink 一部分的 build.sh 脚本来构建特定于应用程序的 docker 映像，它有一个参数 (--job-artifacts) 允许您指定要包含在图片。 这些 jar 文件最终都在 lib 目录中。 请参阅https://github.com/apache/flink/blob/master/flink-container/docker/build.sh 。

您可以对此进行扩展以正确处理插件，或者暂时不用担心（仍然支持将它们放在 lib 目录中）。