为什么该函数在本地有效，但在 Dataflow 中无效？

Question

我正在尝试使用数据流向 Google Analytics 发布请求。 第一步是从 Big-query 读取适当的参数 - 它工作正常。 接下来是在 HTTP post 请求中使用它们。 在本地提供显式参数它可以工作，但在数据流中它在这一步什么都不做。

这是我的代码（SendRequests 类），其中 el - BQ 中的每个数据行。

class SendRequests(beam.DoFn):
    def __init__(self):
        super(SendRequests, self).__init__()
    def process(self, el):
        conn = httplib.HTTPConnection("www.google-analytics.com")
        params = urllib.urlencode(el)
        conn.request("POST", "/collect", params)
        yield 1

locally:
conn = http.client.HTTPConnection("www.google-analytics.com")
conn.request("POST", "/collect", params)

Answer 1

它可能不是“什么都不做”......检查日志文件。

此外，可能 Dataflow 作业仅使用私有 IP 地址运行。 如果不是这种情况，除非 Dataflow 作业和函数位于同一 VPC 中，否则将无法访问该函数。

我认为您不必启用 Google Private Access，但请阅读此内容，看看它是否有帮助... https://cloud.google.com/vpc/docs/private-access-options

加雷斯