如何將 hbase-site.xml 傳遞給 Google Cloud Dataflow 模板

Question

我們有一個設置，我們有一個在谷歌雲上運行的 Hbase 集群，並使用我想寫入 Hbase 表的 Dataflow。 為此，我想在 staging 中傳遞我的hbase-site.xml文件，然后在 prod 中，我將在生產環境中傳遞不同hbase-site.xml 。 但是，我找不到將資源文件傳遞給 Dataflow 模板的選項。 Dataflow 中是否有任何選項類似於 Spark 中的--files或 Flink 中的--classpath來添加它。

我絕對可以將hbase-site.xml添加到src/main/resources中，這會有所幫助，但我想要兩個不同的環境使用不同hbase-site.xml 。 因此，擁有這樣的選擇將非常有益。

Answer 1

您是否使用 Beam HBaseIO並且是否可以將這些參數作為提供給它的Configuration的一部分傳遞？ 如果是這樣，您可能會更新您的模板以接受此配置（或用於創建配置的值）作為 PipelineOption（並在 Main 類中解析它們）。

如果您希望文件在本地（在 VM 中）可用，您可能需要設置一個自定義容器以供您的模板使用。