[英]Speed Up Multiple Model Inference on EDGE TPU
我已經重新訓練了一個 RESNET50 模型，用於在 EDGE TPU 上重新識別。 但是，似乎沒有辦法將一批圖像提取到EDGE_TPU。
我想出了一個為圖像運行多個相同模型的解決方案。
但是，無論如何可以加快多個模型的模型推理？ 現在的線程甚至比單模型推理還要慢
是的，edgetpu 的架構師不允許批量處理。 您是否嘗試過模型流水線？ https://coral.ai/docs/edgetpu/pipeline/
不幸的是，目前僅在 C++ 中可用，但我們希望在第四季度中期將其擴展到 python。
因為批量推理現在不可用，所以流水線是另一個次要選項。 但是，在體驗了我的模型之后，我們可以通過為 EDGE_TPU 提供多個單一輸入作為另一種選擇來制作偽批處理
Coral Edge TPU Compiler 無法轉換 tflite 模型：模型未量化
[英]Coral Edge TPU Compiler cannot convert tflite model: Model not quantized
是否有辦法在 Edge TPU 上獲取一批圖像到 TFLite model？
[英]Is There Anyway to Fetch a Batch of Image to TFLite model on Edge TPU?
如何使用 TFLite 和 Edge TPU 指定特定數據流進行推理？
[英]How can I specify a particular dataflow for inference using TFLite and an Edge TPU?
如何轉換在 Edge TPU 板的自定義數據集上訓練的模型？
[英]How to convert model trained on custom data-set for the Edge TPU board?
將 Keras model 轉換為量化的 Tensorflow Lite Z20F35E630DAF44DBFA4C3F68F5399D8
[英]Convert Keras model to quantized Tensorflow Lite model that can be used on Edge TPU
如何在計算機而不是 TPU 上運行這些 Coral AI 模型推理？
[英]How to run these Coral AI models inference in a computer rather than on the TPU?
TfLite Android：運行多個推理時的垃圾值 output model
[英]TfLite Android: Garbage values when running inference for multiple output model
如何對具有多個輸入和輸出的 Tensorflow lite model 進行推斷？
[英]How to do the inference for a Tensorflow lite model with multiple inputs and outputs?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
