突然導入錯誤：無法從管道上的“requests.packages.urllib3.contrib”錯誤導入名稱“appengine”
[英]Sudden ImportError: cannot import name 'appengine' from 'requests.packages.urllib3.contrib error on pipeline
我的管道和調度程序運行平穩，沒有任何問題。 出去吃午飯后，我更改了神經網絡運行的周期數，再次保存 .yaml 文件並將其留在名為“budgetff”的存儲桶中。 之后，一切都停止了。 有錯誤，我對它們的出現方式一無所知。 組件中的代碼甚至似乎沒有啟動。 我制作了幾個不同的組件但都沒有成功，因為 ...
將 kubeflow docker 圖像組件遷移到 VertexAI 管道
[英]Migrate kubeflow docker image components to VertexAI pipeline
我正在嘗試將在 kubeflow 中創建的自定義組件遷移到 VertexAI。 在 Kubeflow 中，我曾經將組件創建為 docker 容器圖像，然后將它們加載到我的管道中，如下所示： 然后我會在管道中使用它們，如下所示： 我可以在頂點 ai 管道中重用來自 kubeflow v1 的相同組件 ...
Kubeflow parallel for 循環忽略了“parallelism”參數
[英]Kubeflow parallel for loop is ignoring `parallelism` parameter
dsl.ParallelFor沒有很好的文檔，但我假設parallelism參數意味着 - 可以並行打開多少個 pod。 但是，當我查看 DAG 可視化時，它似乎打開了所有 for 循環任務列表，導致配額資源不足。 此步驟在 Pending state 中，帶有以下消息：pods "pipelin ...
從 Kubeflow 管道掛載現有卷：kfp.VolumeOP 創建新卷而不是為現有卷創建 PVC
[英]Mounting an existing volume from a Kubeflow Pipeline: kfp.VolumeOP creates a new volume instead of creating a PVC to existing volume
我是 KubeFlow 的新手，正在嘗試移植/調整現有解決方案以在 KubeFlow 管道中運行。 我現在要解決的問題是現有解決方案通過掛載卷共享數據。 我知道這不是組件在 KubeFlow 中交換數據的最佳實踐，但這將是一個臨時的概念證明，我別無選擇。 我在從管道訪問現有卷時遇到問題。 我基本上 ...
Vertex AI 中 Kubeflow ParallelFor 的行為不一致
[英]Inconsistent behaviour of Kubeflow ParallelFor in Vertex AI
我有一個 Vertex A 管道，例如： run_1 組件非常簡單： 如您所見，第一個組件 run_1() 的 output 是一個硬編碼的字符串列表。 ParallelFor 應該迭代此列表以將列表的每個元素作為第二個 function 的參數“key”傳遞。我在 Vertex AI 上部署管 ...
關於為 Kubeflow 管道下載數據的基本問題
[英]Basic question on downloading data for a Kubeflow pipeline
我是 Kubeflow 的新手，剛剛開始探索。 我已經設置了一個 microk8s 集群並迷住了 kubeflow。 我已經執行了幾個示例，試圖理解不同的組件。 現在我正在嘗試從頭開始為分類問題設置管道。 我面臨的問題是處理數據下載。 誰能給我指出一個從外部源下載數據（最好是圖像）的例子？ 我能找到 ...
Kubeflow 管道組件中的返回參數
[英]Return parameters in Kubeflow pipeline component
我試圖從 kubeflow 組件返回幾個參數。 按照文檔，它說你應該使用 OutputPath，其中 T 是 python 中的一種類型（str、float、int ...），所以我有這個： 我知道，對於文檔，如果我的參數是一個字符串，我應該使用： 但我找不到任何返回花車的例子。 整數、布爾值……我 ...
如何用pytest測試kfp組件
[英]How to test kfp components with pytest
我正在嘗試使用 pytest 從 kfp.v2.ds1（在管道上工作）本地測試 kubeflow 組件，但在輸入/輸出參數和固定裝置上苦苦掙扎。 下面是一個代碼示例來說明這個問題： 首先，我創建了一個 fixture 來模擬數據集。 這個 fixture 也是一個 kubeflow 組件。# ./f ...
如何授予 Vertex AI 管道組件權限？
[英]How do I give Vertex AI pipeline component permissions?
在 Vertex AI 管道組件中，我嘗試： 這使： 我的服務帳戶具有所有者權限，並且它在組件之外工作。 我需要做什么？ ...
如何制作 kubeflow 管道步驟取決於多個先前的步驟
[英]How to make a kubeflow pipeline step depend on multiple previous steps
我正在並行運行幾個 kf 步驟。 當他們都完成並且如果他們都成功了，我想觸發最后一步。 在我當前的實現中，如果前面的任何一個成功，那么最后一步就會觸發，這不是我想要的。 我一直在查看文檔，但找不到直接的方法。 有人可以提供一個例子嗎？ ...
無法使用 Kubeflow API 資源引用進行授權：PermissionDenied：用戶“命名空間”
[英]Failed to authorize with Kubeflow API resource references: PermissionDenied: User 'namespace'
我正在嘗試構建一個將兩個數字相加的示例管道。 在運行kfp.Client().create_run_from_pipeline_func(calc_pipeline, arguments=arguments)出現以下錯誤，我得到了匿名帳戶。 ...
如何在 Kubeflow 管道組件步驟中呈現混淆矩陣可視化？
[英]How to render a confusion matrix visualization in a Kubeflow pipeline component step?
這是我正在嘗試的官方教程之一 我無法在 Run output 或 Visualizations 選項卡中看到可視化。 它說這一步沒有可視化。 我在這里想念什么？ ...
如果安裝被破壞，我們如何從備份中恢復 kubeflow，或者如果 eks 集群被破壞，我們如何恢復 kubflow
[英]how do we restore kubeflow from backups if the installation is destroyed or how we can back the kubflow as it was if the eks cluster is destroyed
如果安裝失敗或 eks 集群被破壞，我將如何備份我的 kubeflow 管道並恢復它。 我有一些發現來獲取我用於數據庫的 vanila 的圖像，並了解如何進行備份和恢復，但到目前為止我沒有任何運氣。 我在 aws eks 集群上運行了 e kubflow 我有 15/16 kubeflow 管道正 ...
Kuveflow 卷丟失數據
[英]Kuveflow volumens lost data
您好我正在嘗試在步驟之間共享文件，為了做到這一點，我有以下代碼： 如您所見，我正在創建一個 V1_VOLUMNE，並為管道中的所有步驟安裝相同的內容。 第一步download_images_op_step ，下載並保存卷中的圖片，但是當第二步開始時，卷是空的。 那么我怎樣才能將數據從一個持久化到另一 ...
在 Vertex AI 上為 KFP v2 中的每個 ParallelFor 迭代設置名稱
[英]Set the name for each ParallelFor iteration in KFP v2 on Vertex AI
我目前正在使用kfp.dsl.ParallelFor來訓練 300 個模型。 它看起來像這樣： 目前，Vertex AI 中的迭代在下拉列表中被標記為類似for-loop-worker-0 、 for-loop-worker-1等。 對於任務（例如prepare_data_op ，有一個名為set_ ...
如何在 kubeflow 管道中使用大量圖片？
[英]How can I use a lot pictures in a kubeflow pipeline?
你好我正在kubeflow管道中訓練一個yolo，為了這個，我有一組超過1GB的圖片。 目前，我使用腳本將所有圖像從 minio 下載到容器中，然后訓練 model。 我不確定是否有任何最佳實踐，因為每次培訓下載 1GB 的空間很多。 有沒有另一種方法可以做到這一點並避免構建一個 minio 腳本 ...
應用應用程序時遇到錯誤：（kubeflow.error）：代碼 500 和消息：Apply.Run
[英]Encountered error applying application application: (kubeflow.error): Code 500 with message: Apply.Run
我正在嘗試使用此 YAML 文件https://raw.githubusercontent.com/kubeflow/manifests/v1.2branch/kfdef/kfctl_k8s_istio.v1.2.0.yaml在 AKS 上部署 kubeflow。 但是我遇到了下面的錯誤，我不知道如 ...
Kubeflow 管道在 `packages_to_install` 中的哪里尋找包？
[英]Where does Kubeflow pipeline look for packages in `packages_to_install`?
我在 Vertex AI 中使用 Kubeflow Pipelines 來創建我的 ML 管道，並且能夠使用以下語法使用 Kubeflow 組件中的標准打包 現在我需要在packages_to_install中添加我的自定義 python 模塊。 有辦法嗎？ 為此，我需要了解在 base_imag ...
GCP Vertex AI Endpoint 返回空預測數組
[英]GCP Vertex AI Endpoint returning empty prediction array
KFP 管道作業成功執行，但在到達端點時，得到一個空的預測數組 ([])。 我懷疑問題出在 model 上傳中，其中 model 沒有以某種方式正確注冊。 任何提示表示贊賞。 上傳 model 部署任務的代碼： 獲取預測的代碼： 回復： ...
我如何從自定義容器中獲取 output 並傳遞到 Vertex AI/Kubeflow 管道中的下一個管道？
[英]How do i get the output from a custom container and pass to next pipeline in Vertex AI/Kubeflow pipeline?
我很難理解如何將容器中的結果作為 output 工件傳遞。 我知道我們需要將 output 寫入文件，但我需要一些示例如何執行此操作。 https://www.kubeflow.org/docs/components/pipelines/sdk-v2/component-development/ ...