有没有一种方法可以使用mlfow从AWS Glue Job记录统计信息/工件？
[英]Is there a way to log stats/artifacts from AWS Glue Job using mlfow?
问题描述
您能否让我知道在mlflow的当前版本中是否有这样的功能？
1 个解决方案
解决方案1
2 已采纳 2019-05-16 18:52:27
我认为这里的一般答案是，您可以使用mlflow_log_artifact()或mlflow_set_tag()将实验中的任意数据和工件记录到MLflow跟踪服务器，具体取决于您要执行的操作。 如果有一个API可以从Glue中获取数据，并且您可以在MLflow运行期间获取它，则可以对其进行记录。 编写csv，将.png保存到磁盘并记录该日志，或者在设置标签时声明一个变量并对其进行访问。
这适用于Glue或您从中获得响应的任何其他API。 MLflow的主要好处之一就是它是一个通用的框架，因此您可以跟踪对该特定实验重要的事情。
希望这可以帮助！
使用 AWS Python SDK boto3 从表中列出由 AWS Glue 解析的所有 S3 文件
[英]List all S3-files parsed by AWS Glue from a table using the AWS Python SDK boto3
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
AWS Glue ETL 作业中的 Boto3 Glue
SQL 服务器连接与 AWS GLUE Python 3 工作
AWS Glue Python Shell 作业因 MemoryError 而失败
如何将 AWS Glue 作业连接到 Salesforce
通过 API 执行时如何获取 AWS Glue 作业的结果？
AWS Glue Job Python脚本Boto3-要隐藏凭证
AWS Glue 作业的 CSV 文件无限值问题
使用 AWS Python SDK boto3 从表中列出由 AWS Glue 解析的所有 S3 文件
AWS Glue：由于缺少元数据而无法启动作业运行
Python/Pyspark 迭代代码（用于 AWS Glue ETL 作业）
相关标签