為什么該函數在本地有效，但在 Dataflow 中無效？

Question

我正在嘗試使用數據流向 Google Analytics 發布請求。 第一步是從 Big-query 讀取適當的參數 - 它工作正常。 接下來是在 HTTP post 請求中使用它們。 在本地提供顯式參數它可以工作，但在數據流中它在這一步什么都不做。

這是我的代碼（SendRequests 類），其中 el - BQ 中的每個數據行。

class SendRequests(beam.DoFn):
    def __init__(self):
        super(SendRequests, self).__init__()
    def process(self, el):
        conn = httplib.HTTPConnection("www.google-analytics.com")
        params = urllib.urlencode(el)
        conn.request("POST", "/collect", params)
        yield 1

locally:
conn = http.client.HTTPConnection("www.google-analytics.com")
conn.request("POST", "/collect", params)

Answer 1

它可能不是“什么都不做”......檢查日志文件。

此外，可能 Dataflow 作業僅使用私有 IP 地址運行。 如果不是這種情況，除非 Dataflow 作業和函數位於同一 VPC 中，否則將無法訪問該函數。

我認為您不必啟用 Google Private Access，但請閱讀此內容，看看它是否有幫助... https://cloud.google.com/vpc/docs/private-access-options

加雷斯