[英]How to identify which logstream belongs which glue job?
我有 python shell 类型的 AWS Glue 作业。 python shell 粘合作业的日志存储在两个不同的 cloudwatch 日志组中。
在胶水作业的每次运行中，都会在上述日志组下创建新的日志流。 我无法确定哪个日志 stream 属于哪个胶水作业。 因为在每次运行中都会创建一个新日志 stream 。 如何从云监视日志组日志中识别粘合作业 stream
当 Glue 作业运行创建日志流时，它使用带有作业运行 ID/执行程序 ID的默认命名约定。
在 output 或错误日志中，您会看到带有 Glue 作业运行 ID 前缀的前缀以及执行者编号。 这有助于确定它属于哪个作业运行。
除此之外，如果您愿意，它允许使用此属性定义自定义前缀。
'--continuous-log-logStreamPrefix': 'custom_log_stream_prefix'
可以在此处找到更多详细信息： 为 AWS Glue 作业启用连续日志记录
如何从cloudwatch检查日志流所属的ECS服务或任务？
[英]How to check which ECS service or task the logstream belongs to from cloudwatch?
如何使用我们在 postgresql rds 中创建的自定义模式作为目标而不是 aws 胶水作业中的公共模式？
[英]How to use custom schema which is created by us in postgresql rds as target instead of public schema in aws glue job?
从 Apache Hudi 表中删除记录，这是使用 AWS Glue Job 和 Kinesis 创建的 Glue 表的一部分
[英]Deleting records from Apache Hudi Table which is part of Glue Tables created using AWS Glue Job and Kinesis
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.