我可以使用來自 TF HUB 的非微調 BERT 模型來為它提供 TF 服務嗎？

Question

我是TF serving的新手，目前我遇到了這樣的問題。 我使用來自TF HUB bert_en_uncased運行服務器部分，但我不明白如何正確實現客戶端。 我遇到了幾篇文章，但每篇文章都假設我有一個現成的微調模型，其中包含預先分配的請求處理程序。 任何人都可以分享一些導師或 API 參考以促進我的任務嗎？

我讀過的一些文章：

• 使用 TensorFlow Serving 部署可服務的問答模型
• 3 種優化和導出在線服務的 BERT 模型的方法
• 使用 BERT 微調模型進行 Tensorflow 服務（GitHub 問題）

附注。 我不是要創建 QA 模型或類似的東西，我只需要來自這個特定模型的 BERT 嵌入。

Answer 1

UPD：已經解決了這個問題。 主要的是， TF.HUB模型沒有任何規格列表或類似的東西，只有一些關於如何將它與tf.hub一起使用的tf.hub 。 如果您遇到類似的問題，我是否建議您執行以下操作：1）從源SavedModelCli安裝/編譯，它是 TensorFlow 的工具，可以說，解壓縮保存的模型並獲取其規格； 2）找一些關於TF Serving指南，只需要修改一些代碼片段，幾乎每個實現都是一樣的； 3) 可能您可能（相信我，您會）面臨棄用警告。 不要試圖尋找文檔，解決方案在這里 :) 祝您為您的模型服務好運！