在 AWS GPU Graviton 實例上運行 Triton 服務器推理

Question

我目前正在使用標准的 GPU 啟用的 EC2（非常昂貴）在 AWS 雲上的生產環境中運行Triton 服務器。

我已經看到這些啟用了 GPU 的新 Graviton 實例的運行成本可以降低 40%。 但是，它們在 ARM（不是 AMD）上運行。 這是否意味着我可以在此實例上運行標准版本的 Triton 服務器？

查看Triton服務器發行說明，我看到它可以在jetson nano上運行，它是nvidia gpu ARM https://github.com/triton-inference-server/server/releases/tag/v1.12.0

這種方法會降低我的成本嗎？ 我可以在這些引力子實例上運行 Triton 服務器嗎？

使用這些實例性能會下降嗎？

Answer 1

查看Nvidia 的 NGC 容器存儲庫，可以看到為最新版本的 Arm64 構建的容器。 從表面上看，它應該適用於 G5g。 我建議您試用容器並測試它是否適合您的需要。 如果不測試您的特定工作負載，就不可能預先知道性能如何，也無法知道它是否更便宜。