支持Cloud Bigtable作为Cloud Dataflow中的接收器

Question

是否有计划使Cloud Dataflow能够将数据写入Cloud Bigtable？ 可能吗？

添加自定义Sink以处理IO可能是干净的选择。

解决方法是，我尝试在简单的DoFn连接到Bigtable（相同的项目）。 在startBundle步骤中打开连接和表，并在finishBundle关闭它们。

此外，我在类路径中添加了bigtable-hbase jar (0.1.5) ，并在资源文件夹中添加了hbase-site.xml的修改版本。

在云中运行时，出现NPN/ALPN extensions not installed异常。

在本地运行时，出现异常，指出ComputeEngineCredentials cannot find the metadata server. 尽管GOOGLE_APPLICATION_CREDENTIALS设置为生成的json密钥文件。

任何帮助将不胜感激。

Answer 1

现在，我们有了一个Cloud Bigtable / Dataflow连接器。 您可以在以下网址查看更多信息： https : //cloud.google.com/bigtable/docs/dataflow-hbase

Answer 2

Cloud BigTable需要NPN / ALPN网络罐。 当前未在Dataflow工作器上安装此文件。 因此，无法直接从ParDo访问Cloud BigTable。

一种可能的解决方法是使用HBase REST API设置REST服务器以访问Dataflow之外VM上的Cloud Bigtable。 这些说明可能会有所帮助。

然后，您可以向此REST服务器发出REST请求。 如果您发送大量请求（即处理大量数据并需要设置REST服务器的多个实例并在它们之间进行负载平衡），则这可能会有些复杂。