支持Cloud Bigtable作為Cloud Dataflow中的接收器

Question

是否有計划使Cloud Dataflow能夠將數據寫入Cloud Bigtable？ 可能嗎？

添加自定義Sink以處理IO可能是干凈的選擇。

解決方法是，我嘗試在簡單的DoFn連接到Bigtable（相同的項目）。 在startBundle步驟中打開連接和表，並在finishBundle關閉它們。

此外，我在類路徑中添加了bigtable-hbase jar (0.1.5) ，並在資源文件夾中添加了hbase-site.xml的修改版本。

在雲中運行時，出現NPN/ALPN extensions not installed異常。

在本地運行時，出現異常，指出ComputeEngineCredentials cannot find the metadata server. 盡管GOOGLE_APPLICATION_CREDENTIALS設置為生成的json密鑰文件。

任何幫助將不勝感激。

Answer 1

現在，我們有了一個Cloud Bigtable / Dataflow連接器。 您可以在以下網址查看更多信息： https : //cloud.google.com/bigtable/docs/dataflow-hbase

Answer 2

Cloud BigTable需要NPN / ALPN網絡罐。 當前未在Dataflow工作器上安裝此文件。 因此，無法直接從ParDo訪問Cloud BigTable。

一種可能的解決方法是使用HBase REST API設置REST服務器以訪問Dataflow之外VM上的Cloud Bigtable。 這些說明可能會有所幫助。

然后，您可以向此REST服務器發出REST請求。 如果您發送大量請求（即處理大量數據並需要設置REST服務器的多個實例並在它們之間進行負載平衡），則這可能會有些復雜。