簡體   English   中英

每個HBase表的Reducer

[英]a Reducer per HBase table

基本上,我需要將數據路由到正確的Reducer。 每個Reducer將成為一個TableReducer。

我有以下文件

venodor1,用戶1,xxxx = n venodor1,用戶1,xxxx = n venodor2,用戶2,xxxx = n venodor2,用戶2,xxxx = n

我需要將其插入以下hbase表中

表vendor1:[用戶1] => {數據:xxxx = n} [用戶2] => {數據:xxxx = n}

表vendor2:[用戶1] => {數據:xxxx = n} [用戶2] => {數據:xxxx = n}

格式為[ROW_ID] => {[FAMILY]:[COLUMN] = [VALUE]}

  • 每個供應商都有不同的hbase表
  • 行需要根據該行中的值轉到不同的hbase表。

有沒有辦法做到這一點 ? 與級聯? 有其他解決方法嗎?

謝謝,費德里科

我找到了方法...讓減速器處理表格。 除了使用TableReducer,還可以使用Reducer。 在設置加載時,將表(表應為屬性)設置為自動刷新為false並設置緩沖區大小。 在清除所有表上的flushCommit()時。 對於鍵和值,Reducer輸出應為NullWritable(除非您確實希望輸出某些內容)。 在減少上只需執行table1.put tabe2.put等

在實現TableReducer的過程中,它在一張表的后台進行了類似的操作。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM