[英]AWS Glue ETL Job triggered on batches of S3 Events
我有一個S3存儲桶，其中包含許多文件（1000條記錄/分鍾）。 我想在批量刪除的文件上觸發Glue ETL作業。
我已經看過使用Firehose來聚合事件的批次，但這需要大量的鏈接資源。 喜歡S3 - > Lambda - > Firehose - > ......
批量處理數據的最佳方法是什么？
您可以使用AWS Glue Job Triggers，它允許您以預定的時間間隔運行粘合作業，而不是作為S3事件觸發器運行？
你在處理流數據嗎？ 在您的信息有限的情況下，請勿查看Firehose的用例/用途。
如何通過 S3 事件或 AWS Lambda 觸發 Glue ETL Pyspark 作業？
[英]How to Trigger Glue ETL Pyspark job through S3 Events or AWS Lambda?
使用 AWS Glue ETL 將鑲木地板文件從 S3 加載到 AWS RDS 需要很長時間
[英]Loading parquet file from S3 to AWS RDS taking extremely long time using AWS Glue ETL
運行 AWS Glue ETL 作業並命名 output 文件名時，有沒有辦法從 S3 存儲桶讀取文件名。 pyspark 是否提供了一種方法來做到這一點？
[英]Is there a way to read filename from S3 bucket when running AWS Glue ETL job and name the output filename. Does pyspark provide a way to do it?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
