數據流 PubSub 到 Elasticsearch 模板代理

Question

我們需要創建一個從 PubSub 攝取到 Elasticsearch 的 Dataflow 作業，但該作業無法建立出站 Internet 連接以到達 Elastic Cloud。

有沒有辦法在創建時將代理參數傳遞給 Dataflow vm？

找到這篇文章，但代理參數是 maven 應用程序的一部分，我不知道如何在這里使用它。

https://leifengblog.net/blog/run-dataflow-jobs-in-a-shared-vpc-on-gcp/

謝謝

Answer 1

要訪問外部端點，您需要配置 Internet 訪問和防火牆設置，具體取決於您的使用案例，您的 VM 可能還需要訪問其他資源，您可以在本文檔中查看您需要為 Dataflow 配置哪種方法。 在選擇您要選擇的方法之前，請查看文檔如何指定網絡或子網。

在 GCP 的子網中，您可以啟用 Google Private Access，該子網中的虛擬機將能夠訪問所有 GCP 端點（Dataflow、BigQuery 等），即使它們只有私有 IP。 無需設置代理。 請參閱此文檔。

例如，對於 Java 管道，我通常只為 Dataflow 工作人員使用私有 IP，它們能夠訪問 Pubsub、BigQuery、Bigtable 等。

對於 Python 管道，如果您有外部依賴項，則工作人員將需要訪問 PyPi，為此，您需要 Internet 連接。 如果您想在 Python 管道中使用私有 IP，您可以將這些外部依賴項發送到自定義容器中，因此工作人員不需要下載它們。

您可以在編寫管道后立即使用 maven 文件，您必須創建和暫存模板文件（mvn），您可以按照此示例進行操作。