何時使用 BigTableIO.write() API 與 CloudBigtableIO.CloudBigtableSingleTableBufferedWriteFn API
[英]when to use BigTableIO.write() API vs CloudBigtableIO.CloudBigtableSingleTableBufferedWriteFn API
問題描述
我看到有兩個 API 可用於寫入 GCP BigTable ： BigTableIO.write()與CloudBigtableIO.CloudBigtableSingleTableBufferedWriteFn 。 我正在研究數據流管道，以從一個 BigTable 讀取數據並將處理后的輸出存儲在另一個 BigTable 中。 處理負載很大 - 10TB。
我想知道根據將大型數據集寫入 BigTable 的要求使用哪個 API。
1 個解決方案
解決方案1
0 2022-06-24 05:37:10
根據您的用例，強烈建議您使用CloudBigTableIO API，因為您正在編寫Dataflow管道。 BigtableIO類來自 Beam SDK，而CloudBigtableIO類來自 Google。
CloudBigTableIO的一些優勢包括：
- 有據可查的 HBase API
- 讀取非常大的表格時效率更高
- 更高效地將 Pub/Sub 作為來源
- 輕松創建自定義 DoFns
BigTable Java API 與 BigTable HBase Java ZDB974238714CA8DE634A7CE1D08 的區別
[英]BigTable Java API vs BigTable HBase Java API differences
嘗試在GAE中寫入Cloud Bigtable時出現ClosedChannelException
[英]ClosedChannelException when trying to write to Cloud Bigtable in GAE
LongComparator不適用於帶有HBase API的Google Cloud Bigtable
[英]LongComparator does not work in Google Cloud Bigtable with HBase API
(BigTable Query, java API) 如何同時使用scan和rowKey？
[英](BigTable Query, java API) how to use scan and rowKey at the same time?
如何使用 HBase API 和 hbase-site.xml 模擬 BigTable 連接
[英]How to impersonate using HBase API and hbase-site.xml for BigTable Connection
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
Apache Beam CloudBigtableIO 讀/寫錯誤處理
BigTable Java API 與 BigTable HBase Java ZDB974238714CA8DE634A7CE1D08 的區別
在Apache Beam中將運行時參數與BigtableIO一起使用
一次寫入，BigtableIO如何實現？
嘗試在GAE中寫入Cloud Bigtable時出現ClosedChannelException
無法使用HBase REST API連接到Google Bigtable
LongComparator不適用於帶有HBase API的Google Cloud Bigtable
在單個事務/api 調用中將數據從一列移動到另一列
(BigTable Query, java API) 如何同時使用scan和rowKey？
如何使用 HBase API 和 hbase-site.xml 模擬 BigTable 連接
相關標簽