使用参数设置器的 Datafusion 中的宏

Question

通过提供参数值使用 Argument setter 我想让 Datafusion 管道可重新使用。 正如许多其他答案所说，已尝试使用 Google 指南中给出的云可重用管道示例实施。我无法传递参数 Json 文件。那么如何创建 API 到存储在 Google 存储中的参数 Json 文件。请解释要传递给参数设置器的值，如 URL，请求响应等，如果你们中的任何一个已经在你的项目中实现。

谢谢你。

Answer 1

ArgumentSetter 插件从 HTTP 端点读取，并且它必须可以公开访问，如GCP 文档中所述。 目前，没有办法读取存储在 GCS 中的非公共文件。 已报告此行为是为了通过此票证对 CDAP 进行改进。

Answer 2

您能否提供到目前为止您尝试过的内容以及您遇到的问题？

参数 setter 中的 URL 字段将包含您要调用的 API 端点。 确保包含您的呼叫所需的任何标题，如授权、接受等。

如果您在使用参数设置器时遇到问题，最好使用 Curl 或任何其他工具来确保您能够与您尝试使用的端点通信。

以下是有关 Argument setter 的一些文档： https : //github.com/data-integrations/argument-setter

Answer 3

使用适当的名称/值对定义 JSON 文件。 将其上传到 GCS 存储桶中 - 通过更改权限将其公开（在权限列表中添加“allUsers”）。 当您保存它时，该文件会显示“公共到 Internet” 将https路径复制到该文件并在 Arguments Setter 中使用它。 如果您能够从 curl/您的浏览器访问此路径，则 Argument Setter 也可以这样做..

但是，我在使用 Argument Setter 时还遇到了其他问题 - 管道多次取代运行时参数而不是 URL 中提供的默认值，特别是当管道重复时。

公开文件

Answer 4

你必须公开你的桶，目前没有其他办法。

gsutil iam ch allUsers:objectViewer gs://BUCKET_NAME