TF Serving Predict API 輸出解釋

Question

TensorFlow Serving (TFS) Predict API 輸出是否與 tf.keras.model.predict 方法相同（即模型根據編譯指標的輸出）？

例如，如果我們有一個使用 BinaryAccuracy 指標編譯的 tf.keras.model，那么 TFS 預測 API 的輸出是否會是預測請求的每個輸入的二進制精度值列表？

提前致謝！

Answer 1

我無法清楚地了解您關於編譯指標和模型輸出預測的問題。 但這里是Keras predict方法和TF Serving's Predict API輸出的比較。

Keras 和 TF Serving Predict API 的預測輸出格式相似，它發出屬於每個類的數據點的概率值列表。

假設您有一個 10 類分類模型，並且您正在發送 4 個數據點來預測方法，輸出的形狀將是4x10 ，其中對於每個數據點，預測結果包含該數據點屬於每個類的概率（0 –9）。

這是一個示例預測

predictions =  [
 [8.66183618e-05 1.06925681e-05 1.40683464e-04 4.31487868e-09
  7.31811961e-05 6.07917445e-06 9.99673367e-01 7.10965661e-11
  9.43153464e-06 1.98050812e-10],
 [6.35617238e-04 9.08200348e-10 3.23482091e-05 4.98994159e-05
  7.29685112e-08 4.77315152e-05 4.25152575e-06 4.23201502e-10
  9.98981178e-01 2.48882337e-04],
 [9.99738038e-01 3.85520025e-07 1.05982785e-04 1.47284098e-07
  5.99268958e-07 2.26216093e-06 1.17733900e-04 2.74483864e-05
  3.30203284e-06 4.03360673e-06],
 [3.42538192e-06 2.30619257e-09 1.29460409e-06 7.04832928e-06
  2.71432992e-08 1.95419183e-03 9.96945918e-01 1.80040043e-12
  1.08795590e-03 1.78136176e-07]]

您可以查看此參考中make_prediction()函數的輸出，以了解TF Serving中的Predict API是如何工作的。 謝謝！