[英]How to save and use Spark History Server logs in AWS S3
[英]how to get familiar with logs in aws
我是使用 awsglue 的新手。
我想在 cloudwatch 上創建日志。 我該怎么做才能更快地查看我的日志?
logger = glueContext.get_logger()
logger.info("Resultcount" + str(df.select(F.countDistinct(df.struct1.field1)).collect()[0][0])
你不必做任何事情。 默認情況下,AWS Glue 在 Cloudwatch 中創建日志。 運行作業后,單擊作業歷史記錄中針對您的作業的日志,您可以在 Cloudwatch 中檢查您的打印語句。 請參閱此處獲取 dataframe.show() 的示例 cloudwatch 日志
默認情況下,打印語句會出現在 cloudwatch 的錯誤日志中。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.