Google Vertex AI 預測：為什么 TorchServe 顯示 0 個 GPU？
[英]Google Vertex AI Prediction: Why is TorchServe showing 0 GPUs?
問題描述
我已將訓練有素的 PyTorch model 部署到 Google Vertex AI 預測端點。 端點運行良好，為我提供了預測，但是當我在日志資源管理器中檢查它的日志時，我看到：
信息 2023-01-11T10:34:53.270885171Z GPU 數量：0
信息 2023-01-11T10:34:53.270888834Z CPU 數量：4
盡管事實上我將端點設置為使用NVIDIA_TESLA_T4作為加速器類型：
為什么日志顯示 0 個 GPU，這是否意味着 TorchServe 沒有利用加速器 GPU？
1 個解決方案
解決方案1
0 2023-01-27 13:48:52
這是 PyTorch 和 CUDA 的常見 問題。GPU 支持僅在安裝了正確版本的 PyTorch 時啟用，即為 CUDA 編譯的版本。因此建議您使用具有 PyTorch 86831465 功能的圖像
為 Vertex AI model 評估生成實例和預測模式文件（谷歌雲管道組件）
[英]Generate instances and prediction schema files for Vertex AI model evaluation (Google Cloud pipeline components)
什么時候可以找到 Vertex AI Batch Prediction 作業的日志？
[英]When can one find logs for Vertex AI Batch Prediction jobs?
為什么我得到 'google.cloud.aiplatform.constants' has no attribute 'SUPPORTED_REGIONS error for Vertex AI init？
[英]Why do I get 'google.cloud.aiplatform.constants' has no attribute 'SUPPORTED_REGIONS error for Vertex AI init?
Vertex AI：自定義 model 的批量預測因 RuntimeError 失敗：尚未創建 BatchPredictionJob 資源
[英]Vertex AI: Batch prediction for custom model fails with RuntimeError: BatchPredictionJob resource has not been created
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
在 Vertex AI（谷歌雲平台）中使用 model 進行預測
為 Vertex AI model 評估生成實例和預測模式文件（谷歌雲管道組件）
GCP Vertex AI Endpoint 返回空預測數組
什么時候可以找到 Vertex AI Batch Prediction 作業的日志？
Vertex AI 端點 - 每次批量預測后創建數據集
將 Google 的 Tensorboard 連接到 Vertex AI AutoML
在 Google Cloud Vertex AI 上部署客戶處理程序
為什么我得到 'google.cloud.aiplatform.constants' has no attribute 'SUPPORTED_REGIONS error for Vertex AI init？
Vertex AI：自定義 model 的批量預測因 RuntimeError 失敗：尚未創建 BatchPredictionJob 資源
谷歌雲頂點 AI 工作台筆記本卡在“啟動”
相關標簽