繁体 English 中英

如何将实时日志写入 AWS Glue 日志

[英]How can I write real time logs to AWS Glue log

原文 2019-02-13 10:42:46 7 1 python/ pyspark/ aws-glue

所以我的问题是有时我的 Glue 工作需要很多时间才能运行，甚至由于一些莫名其妙的问题而一起失败。 有没有办法将消息打印到输出或错误日志中，以便我至少可以跟踪作业现在或结束的位置？

但这似乎对我不起作用。 输出日志会生成大量日志，即使我在消息中搜索或过滤关键字，我仍然无法找到它们。

现在我正在考虑将消息写入 S3 文件来解决这个问题。 但这让我想知道是否实际上没有任何其他方式可以显示我可以在作业运行时检查的消息？

您可以编辑作业以使用连续记录功能并在那里跟踪您的记录器

[英]How can I Update AWS Glue Database

[英]How to write string set in dynamo with AWS Glue?

[英]How can I bucketing with s3 using aws glue?

[英]how can i avoid OOMs error in AWS Glue Job in pyspark

[英]How I Can change schema in pyspark aws-glue?

[英]How can I use an external python library in AWS Glue?

[英]Missing Logs in AWS Glue Python

[英]Can I create table/write into a table in sql server using aws glue?

[英]Can I test AWS Glue code locally?

[英]How can I parse pexpect in real time?

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 如何更新 AWS Glue 数据库如何使用 AWS Glue 在发电机中编写字符串集？如何使用 aws 胶水使用 s3 进行存储？如何在 pyspark 中的 AWS Glue 作业中避免 OOM 错误如何更改 pyspark aws-glue 中的架构？如何在 AWS Glue 中使用外部 python 库？ AWS Glue Python 中缺少日志我可以使用 aws 胶水在 sql 服务器中创建表/写入表吗？我可以在本地测试 AWS Glue 代码吗？如何实时解析预期？

相关标签