Apache 從 GCS 讀取 Avro 文件並寫入 BigQuery

[英]Apache beam reading Avro files from GCS and writing to BigQuery

運行 java 作業以讀取 Avro 文件並出現錯誤。 尋求幫助 - 這是代碼 - 這是我看到的錯誤 - ...

Apache Beam AvroIO 讀取大文件OOM

[英]Apache Beam AvroIO read large file OOM

問題： 我正在編寫一個 Apache Beam 管道來將 Avro 文件轉換為 Parquet 文件（使用 Spark runner）。 在我開始轉換大尺寸 Avro 文件 (15G) 之前，一切正常。 用於讀取 Avro 文件以創建 PColletion 的代碼： 來自我的入口點 shell 腳 ...