AWS CloudWatch Logs未创建

Question

我正在尝试使用AWS Glue来运行ETL作业，该作业将数据从Redshift提取到S3。

1. 当我运行爬虫时，它成功连接到Redshift并获取架构信息。 在日志组aws-glue / crawlers下创建相关日志。

2. 当我运行ETL作业时，它应该在日志组aws-glue / jobs / output和aws-glue / jobs / error下创建一个日志流，但它无法创建这样的日志流，最终作业也失败了。

（我使用AWS托管的AWSGlueServiceRole政策进行Glue服务）

由于它不生成任何日志，因此很难确定ETL作业失败的原因。 如果你能帮我解决这个问题，我将不胜感激。

Answer 1

大多数情况下，这与您的AWS服务没有正确的权限有关（是的，即使只是写日志！）。

将这样的东西添加到Glue角色可能会起到作用：

{“Version”：“2012-10-17”，“Statement”：[{“Effect”：“Allow”，“Action”：[“logs：CreateLogGroup”，“logs：CreateLogStream”，“logs：PutLogEvents”] ，“资源”：“arn：aws：logs :: :: *”}]}

Answer 2

我会确保通过以下说明正确设置您的Endpoint和VPC：

http://docs.aws.amazon.com/glue/latest/dg/setup-vpc-for-glue-access.html

我正确设置了入站规则，但没有设置出站规则，这就是我认为问题所在。