標簽[serving] - 堆棧內存溢出

[英]Unrecognized content type parameters: format when serving model on databricks experiement

使用 MLflow 將 model 服務到數據塊時出現此錯誤，無法識別的內容類型參數：格式。重要提示：MLflow Model 評分協議在 MLflow 2.0 版中發生了變化。如果您看到此錯誤，您可能使用了過時的評分請求格式。要解決該錯誤，請更新您的請求格式或調整您的 MLflow 模型的 ...

Azure Databricks model 服務 mlflow 錯誤版本

[英]Azure Databricks model serving mlflow error version

大家好或晚上好！我最近想使用 azure 的注冊模型。我將我的實驗附加到我的 model 並啟動了服務，到目前為止一切順利！問題來自我們試圖向這個 model 發出的請求：無法識別的內容類型參數：格式。重要提示：MLflow Model 評分協議在 MLflow 2.0 版中發生了變化。 ...

Model 服務數據塊狀態失敗

[英]Model Serving Databricks Status Failed

我正在嘗試為我的model啟用服務，但我一直處於掛起狀態。這是 model 事件日志。這在幾個月前工作得很好，但由於某種原因，我無法為它准備好集群。 ...

服務后的模型輸出與 keras 模型輸出不同

[英]Output of model after serving different with keras model output

我有一個輸入模型，其形狀類似於 (145, 24, 24, 3) 通過 tensorflow keras 輸出的模型負載將具有類似 (145, 4) 的形狀但是當我將輸入從張量轉換為列表並將其發布到模型服務中時。輸出返回 (,4) 我在 docker 中使用 tensorflow-serv ...

tensorflow keras savedmodel 丟失輸入名稱並添加未知輸入

[英]tensorflow keras savedmodel lost inputs name and add unknow inputs

我目前正在使用 tensorflow 2.3 實現連續深度匹配模型（ https://arxiv.org/abs/1909.00385 ）。我通過子類keras.layers.Layer將預處理層作為模型的一部分。下面列出了代碼的預處理部分還有我的輸入代碼：代碼的另一部分沒有在這里 ...

如何在 model.predict 之前調用數據豐富 function，同時在 Databricks 中提供 model

[英]How do I invoke a data enrichment function before model.predict while serving the model in Databricks

在 Databricks 中，我使用了 mlflow，並通過 REST API 服務了我的 model。當提供所有 model 功能時，它工作正常。但我的用例是消費者應用程序只提供一個功能（主鍵），我的代碼必須根據該鍵從數據庫中查找其他功能，然后使用 model.predict 返回預測. 我嘗 ...

部署和服務 ML model 有什么區別？

[英]What is the difference between Deploying and Serving ML model?

最近我為分類問題開發了一個ML model，現在想投入生產對實際生產數據進行分類，在探索時我遇到了兩種部署和服務ML model的方法它們之間的基本區別是什么？ ...

使用 curl 將發布請求發送到 mlflow api 到多條記錄

[英]send post request using curl to mlflow api to multiple records

我提供了一個 mlflow model 並以這種格式發送 POST 請求：它正在得分。但是，對於我的特定項目，用於評分的 rest api 的輸入將始終是 dataframe/csv 格式的多個記錄，而不是單個記錄。有人可以指出我如何實現這一目標嗎？ ...

res.set('Content-Type','image/jpg') 在節點 js 中提供圖像時不起作用

[英]res.set('Content-Type','image/jpg') is not working while serving image in node js

res.set('Content-Type', 'image/jpg') 在節點 js 中為我們提供文件時不起作用。請看一下代碼，這段代碼有什么問題。我從數據庫中獲取用戶值和頭像二進制值，但無法在瀏覽器上看到它。 http://localhost:3000/users/5f8930bba3 ...

gRPC - 累積來自多個客戶端的請求

[英]gRPC - Accumulate requests from Multiple clients

假設我有多個客戶端向服務器（gRPC 服務）發送請求。我希望我的服務器能夠收集，比如說 8 個請求，一次處理這些請求，然后只將結果發送回客戶端。我不確定如何使用 GRPC 功能來做到這一點，或者即使可能或我是否需要其他東西。上下文：我的用例來自為 GPU 上的神經網絡提供服務。在這種情況下 ...

無法打開使用 res.send(data)-express 下載的 PDF

[英]Can't open a PDF downloaded using res.send(data)-express

我在這段簡單的代碼中遇到了麻煩：該文件可以下載，但我無法在瀏覽器中看到 PDF。 ...

html 文件在登錄后沒有出現任何錯誤

[英]html file does not appear after logging without any error

我是服務器端編程的新手。我正在嘗試在身份驗證后提供 HTML 文件（mapview.html），但它沒有出現任何錯誤。認證過程沒有問題。我希望當我單擊登錄按鈕時，代碼會檢查 req 數據並在驗證后彈出 mapview.html但沒有任何反應。 res.sendFile() 導致 jquery ...

Tensorflow 使用 Docker 服務

[英]Tensorflow Serving using Docker

我創建了一個神經網絡回歸 Model，我希望使用 AWS 部署它。我正在使用 tensorflow 服務，並且已經保存了 model。現在我正在嘗試使用 Docker 在容器中使用 Docker 將其部署到 Windows 10 家作為示例，我嘗試使用多個教程，但不管我做什么，這個命令都不起作用 ...

Tensorflow 模型量化最佳策略

[英]Tensorflow model quantization best strategy

我對 Tensorflow 的訓練后量化過程感到困惑。官網指的是 Tensorflow Lite Quantization。不幸的是，這在我的情況下不起作用，即TFLiteConverter為我的 Mask RCNN 模型返回錯誤：基本上，我已經嘗試了TFLiteConverter提供的所 ...

XGBClassifier：訓練、保存和加載 model 后的錯誤預測

[英]XGBClassifier: Bad predictions after training, saving and loading a model

下面是我如何訓練 XGBClassifier 並保存它：這就是我加載 model 並做出預測的方式 The model predictions are OK if the model was loaded from within the same python process where the ...

為什么 heroku 應用程序為我的源文件提供服務？

[英]Why heroku app is serving my source files?

為什么我的 heroku 應用程序正在為應用程序目錄提供服務？此目錄及其文件不應像您在圖片中看到的那樣顯示。應該只顯示靜態目錄。我使用 rimraf npm 包刪除源映射（.map 文件），當我使用serve -s build命令時，它在本地主機上正常工作，它只顯示靜態目錄。但是當我使用 h ...

如何從 static 服務器 (CDN) 提供受保護的圖像

[英]How to serve protected images from static server (CDN)

我需要向登錄用戶提供 static 內容（主要是圖像），但這些圖像不能公開。客戶有基本的 JWT 授權。這些客戶端有圖像，但這些圖像必須是私有的（只有擁有它們的用戶才能訪問它們）。我的圖像由我的第二個 Node.js 服務器提供，其工作方式類似於 CDN（緩存、無標頭等...） I was ...

tf_serving grpc客戶端連接被對等方重置

[英]tf_serving grpc client connection reset by peer

我建立了一個客戶端，使用grpc和c ++將一些數據饋送到docker-container內部的modelserver。嘗試連接時，我收到消息：錯誤14連接被對等方重置。客戶代碼： tensorflow服務命令： tensorflow_model_server -- ...

張量流/服務與前 n 個對數返回

[英]tensorflow/serving with top n logits to return

我目前正在應對以可擴展的方式為我的 tensorflow 模型提供服務的挑戰。據我所知，推薦的解決方案是使用標准的TensorFlow ModelServer 。通用要求可以很好地處理 - 但我想要更多。我想通過解析像“limit”這樣的參數來定義要返回的前 n 個 logits + prob ...

如何在 Spark 上部署 tensorflow 模型以僅進行推理

[英]How to deploy tensorflow model on spark to do inference only

我想在 spark 上部署一個大模型（例如 bert）來進行推理，因為我沒有足夠的 GPU。現在我有兩個問題。我將模型導出為 pb 格式並使用 SavedModelBundle 接口加載模型。但是，我找不到為 hdfs 文件系統路徑加載 pb 模型的方法 spark 環境的 ...