用於高內存的 AWS 數據管道（膠水、MWAA、步函數）

[英]Data pipelines om AWS for high mem (glue, MWAA, step funktions)

我正在嘗試在 AWS 中設置數據管道，希望使用無服務器和托管服務。 但是，其中一個步驟需要大量內存 (120GB)，無法將其分解成更小的塊。 理想情況下，我也會將這些步驟作為容器運行，因為包要求有點奇特。 到目前為止，似乎 AWS Glue 和 MWAA 都無法處理超過 32GB 的內存。 處理它 ...

實例化 Flyte 任務以在運行時創建工作流

[英]Instantiating Flyte task to create workflow at runtime

是否可以在運行時實例化 Flyte 任務，以便我可以創建具有可變數量的任務的工作流，並且每個任務運行運行時確定的 Python 可調用？ 在文檔中，我只看到對編譯時工作流程的引用，這些工作流程以聲明方式由 Python function 和@Task裝飾器注釋組成。 如果您可以在開源代碼中提供任何現 ...

Flyte是如何為“數據和機器學習”量身定做的？

[英]How is Flyte tailored to "Data and Machine Learning"?

https://flyte.org/說是用於大規模復雜任務關鍵型數據和機器學習流程的工作流自動化平台我瀏覽了很多文檔，但我不明白為什么它是“數據和機器學習”。 在我看來，它是容器編排（此處為 Kube.netes）之上的工作流管理器，工作流管理器的意思是，我可以定義一個有向無環圖 (DAG)，然 ...

Flyte 0.16.2：加載 Blob 時出錯 - 如何讓 Types.Blob.fetch() 在任務修飾的 function 中工作？

[英]Flyte 0.16.2: Error loading Blob - How to get Types.Blob.fetch() to work in task decorated function?

我有一個 Flyte 任務 function 像這樣： 嘗試使用flytekit.sdk.types.Types.Blob.fetch加載 blob URI，但收到此錯誤： 我可以確認我可以在測試中使用with LocalTestFileSystem()加載 blob，但是當實際嘗試運行工作流時， ...

在 Flyte 中的任務之間傳遞 blob

[英]Pass blobs between tasks in Flyte

我正在嘗試創建一個需要在多個任務之間傳遞數據的Flyte工作流。 我查看了文檔中的一個示例，但嘗試盡可能少地重新創建 blob 傳遞，我仍然無法讓它工作。 這是我的完整工作流定義（當然，我的真實用例會產生更多數據）： from flytekit.sdk.tasks import python_ta ...

錯誤：沒有為 [aws] s3_shard_formatter 設置配置。 這是必需的配置

[英]Error: No configuration set for [aws] s3_shard_formatter. This is a required configuration

我開始在 flyte 中看到這個錯誤：沒有為 [aws] s3_shard_formatter 設置配置。 這是必需的配置。 這是什么意思？ AFAIK 我們在圖像中設置 S3_SHARD_FORMATTER 環境變量，並且在注冊工作流時也是如此。 ...

如何在不指定 sha 的情況下使用 flyte api 獲取啟動計划？

[英]How to fetch a launch plan using flyte api's without specifying a sha?

我想使用 flyte api 來獲取部署環境的最新啟動計划而不指定 sha。 ...

如何找到工作流執行的狀態？

[英]How can I find the status of an workflow execution?

對於我當前的項目，在觸發工作流后，我需要檢查其執行狀態。 我不確定確切的命令。 我試過'get-workflow'，但它似乎沒有用。 ...

您可以為 staging 和 prod 的工作流程制定單獨的時間表嗎？

[英]Can you make separate schedules for workflows on staging versus prod?

我希望某些工作流在登台和生產中以不同的時間表運行（例如：一個工作流在登台中每天運行多次，而在生產中每天只運行一次）。 這樣做將有助於更快地獲得運行反饋並節省計算成本。 我怎么能用flytekit做到這一點？ 推薦嗎？ ...

你能有一個沒有時間表的有效啟動計划嗎？

[英]Can you have an active launch plan that doesn't have a schedule?

如果是這樣，那是什么意思？ 什么都沒有發生對嗎？ ...

防止一個失敗的子任務使 Flyte 中的所有任務失敗

[英]Prevent one failed subtask failing all tasks in Flyte

我有一個dynamic_task ，它啟動了許多python_tasks 。 但是，一旦python_tasks失敗，其他仍在運行的任務也會失敗。 這是故意的嗎？ 有沒有辦法改變這種行為，以便其他任務仍然可以完成而不會失敗？ ...

如何使用 flytesdk 從啟動計划運行執行

[英]how to run an execution from a launchplan with flytesdk

我正在嘗試使用 flytesdk 從啟動計划運行執行。 我得到了一個例子 但看起來 SdkLaunchPlan.execute() 沒有實現，但 SdkLaunchPlan.execute_with_literals() 是。 我能夠使用以下代碼執行它： 這是這樣做的正確方法還是有更好的方 ...

是否有從字符串創建 blob 類型的示例？

[英]Is there an example of creating a blob type from string?

我需要將一個大字符串傳遞給工作流 - 似乎正確的方法是使用 blob。 有一個如何做的例子會很有幫助。 ...

按照文檔啟動時出現 lyft flyte 錯誤？

[英]lyft flyte errors on startup following docs?

從文檔中獲取以下運行示例。 任何人都知道為什么？ 看起來像gprc。 也許這有關系？ https://github.com/grpc/grpc/issues/15933 ...

在 Flyte 中將字典作為輸入類型傳遞的語法是什么？

[英]What's the syntax to pass a dictionary as an input type in Flyte?

我正在嘗試將字典作為參數傳遞給batch_sub_task，但我不太確定如何定義@input。 ...