Apache beam write轉換寫入多個文件？
[英]Apache beam write transform writes into multiple files?
問題描述
我正在查看Apache Beam中的wordCount示例，當我嘗試在本地運行此示例時，它將計數寫入多個文件。 我創建了一個測試項目來讀取和寫入文件中的數據，甚至寫操作也將輸出寫入多個文件。 如何只在一個文件中獲得結果？ 我正在使用直接跑步者
1 個解決方案
解決方案1
3 已采納 2018-10-03 20:03:02
出於性能原因，這種情況正在發生。 您應該能夠使用TextIO.Write.withoutSharding強制單個文件
withoutSharding
public TextIO.Write withoutSharding（）
強制將單個文件作為輸出和空分片名稱模板。 此選項僅與未停止的寫入兼容。
對於未窗口的寫入，限制分片數量可能會降低管道的性能。 除非您需要特定數量的輸出文件，否則不建議設置此值。
這相當於.withNumShards（1）.withShardNameTemplate（“”）
設計這種Apache Beam變換的理想方法是輸出多個文件，包括二進制輸出？
[英]What is the ideal way to design this Apache Beam transform that outputs multiple files including binary outputs?
使用defaultNaming在Apache Beam中進行動態窗口寫入
[英]Using defaultNaming for dynamic windowed writes in Apache Beam
Apache Beam 不會將文件寫入本地環境或 Google Storage
[英]Apache Beam won't write files to local env or Google Storage
使用Apache Beam將Kafka Stream輸出寫入多個目錄
[英]Write Kafka Stream output to multiple directory using Apache Beam
在光束變換內循環。 使用 Apache Beam 依次處理
[英]Looping inside a beam transform. Process sequentially using Apache Beam
從 Apache Beam (GCP Dataflow) 寫入 ConfluentCloud
[英]Write to ConfluentCloud from Apache Beam (GCP Dataflow)
Apache Beam BigqueryIO.Write getSuccessfulInserts 不工作
[英]Apache Beam BigqueryIO.Write getSuccessfulInserts not working
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
Apache Beam 使用多個表時的寫入次數
設計這種Apache Beam變換的理想方法是輸出多個文件，包括二進制輸出？
Apache Beam KafkaIO - 寫入多個主題
使用defaultNaming在Apache Beam中進行動態窗口寫入
Apache Beam 不會將文件寫入本地環境或 Google Storage
使用Apache Beam將Kafka Stream輸出寫入多個目錄
在光束變換內循環。 使用 Apache Beam 依次處理
使用 Apache Beam 將重復的字符串寫入 BigQuery
從 Apache Beam (GCP Dataflow) 寫入 ConfluentCloud
Apache Beam BigqueryIO.Write getSuccessfulInserts 不工作
相關標簽