有沒有一種方法可以使用mlfow從AWS Glue Job記錄統計信息/工件？
[英]Is there a way to log stats/artifacts from AWS Glue Job using mlfow?
問題描述
您能否讓我知道在mlflow的當前版本中是否有這樣的功能？
1 個解決方案
解決方案1
2 已采納 2019-05-16 18:52:27
我認為這里的一般答案是，您可以使用mlflow_log_artifact()或mlflow_set_tag()將實驗中的任意數據和工件記錄到MLflow跟蹤服務器，具體取決於您要執行的操作。 如果有一個API可以從Glue中獲取數據，並且您可以在MLflow運行期間獲取它，則可以對其進行記錄。 編寫csv，將.png保存到磁盤並記錄該日志，或者在設置標簽時聲明一個變量並對其進行訪問。
這適用於Glue或您從中獲得響應的任何其他API。 MLflow的主要好處之一就是它是一個通用的框架，因此您可以跟蹤對該特定實驗重要的事情。
希望這可以幫助！
使用 AWS Python SDK boto3 從表中列出由 AWS Glue 解析的所有 S3 文件
[英]List all S3-files parsed by AWS Glue from a table using the AWS Python SDK boto3
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
AWS Glue ETL 作業中的 Boto3 Glue
SQL 服務器連接與 AWS GLUE Python 3 工作
AWS Glue Python Shell 作業因 MemoryError 而失敗
如何將 AWS Glue 作業連接到 Salesforce
通過 API 執行時如何獲取 AWS Glue 作業的結果？
AWS Glue Job Python腳本Boto3-要隱藏憑證
AWS Glue 作業的 CSV 文件無限值問題
使用 AWS Python SDK boto3 從表中列出由 AWS Glue 解析的所有 S3 文件
AWS Glue：由於缺少元數據而無法啟動作業運行
Python/Pyspark 迭代代碼（用於 AWS Glue ETL 作業）
相關標簽