[英]How to write files to google bucket using Apache Beam dynamically?
我正在嘗試使用 Apache Beam 將一些文件寫入 google 存儲桶，但文件位置和文件夾名稱是從文件中的第一個索引生成的，那么如何創建此字典並將我的文件寫入其中？
metadata = (data_from_test |'CSVConversionMeta' >> beam.ParDo(WriteToCSVmeta())|'Writing To File' >> beam.io.WriteToText('gs://tester1212/CIK/YEAR/FILING/metadata.csv'))
所以，這是我編寫文件的代碼，但我希望從 csv 中獲取 YEAR 並在運行時創建一個文件夾。
如果您的日期在流水線開始之前已知，您可以執行此操作
year="2020"
metadata = (data_from_test |'CSVConversionMeta' >> beam.ParDo(WriteToCSVmeta())|'Writing To File' >> beam.io.WriteToText('gs://tester1212/CIK/{}/FILING/metadata.csv'.format(year)))
如何使用Apache Beam和DataFlowRunner將數據寫入Google MemoryStore（Redis）
[英]How to Write the data into Google MemoryStore(Redis) using Apache Beam with DataFlowRunner
通過使用Google Cloud Dataflow中的Python SDK推斷架構來讀取和編寫avro文件 - Apache Beam
[英]Read and write avro files by inferring schema using Python SDK in Google Cloud Dataflow - Apache Beam
一旦使用 apache 光束 sdk 在 Google Cloud 中創建數據流作業，我們可以從雲存儲桶中刪除 tmp 文件嗎？
[英]Once dataflow job is created in Google Cloud using apache beam sdk, can we delete the tmp files from cloud storage bucket?
在 Apache Beam DoFn（谷歌數據流）中下載和上傳文件到 GCP 存儲桶
[英]downloading and uploading file to GCP bucket in Apache Beam DoFn(Google Dataflow)
Apache Beam 將數據從 Kafka 流式傳輸到 GCS Bucket（不使用 pubsub）
[英]Apache Beam Streaming data from Kafka to GCS Bucket (Not using pubsub)
Java：使用 apache 光束管道讀取存儲在存儲桶中的 excel 文件
[英]Java: read excel file stored in a bucket using apache beam pipeline
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.