[英]How to save and use Spark History Server logs in AWS S3
[英]how to get familiar with logs in aws
我是使用 awsglue 的新手。
我想在 cloudwatch 上创建日志。 我该怎么做才能更快地查看我的日志?
logger = glueContext.get_logger()
logger.info("Resultcount" + str(df.select(F.countDistinct(df.struct1.field1)).collect()[0][0])
你不必做任何事情。 默认情况下,AWS Glue 在 Cloudwatch 中创建日志。 运行作业后,单击作业历史记录中针对您的作业的日志,您可以在 Cloudwatch 中检查您的打印语句。 请参阅此处获取 dataframe.show() 的示例 cloudwatch 日志
默认情况下,打印语句会出现在 cloudwatch 的错误日志中。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.