Cloud ML Engine在線預測性能

Question

我創建了Cloud ML Engine模型並嘗試生成在線/ HTTP預測，但是發現運行預測的延遲仍然很高。 以下是我用來生成預測的Python腳本（從此處開始 ）：

def predict_json(project, model, instances, version=None):
    service = googleapiclient.discovery.build('ml', 'v1')
    name = 'projects/{}/models/{}'.format(project, model)

    if version is not None:
        name += '/versions/{}'.format(version)

    response = service.projects().predict(
        name=name,
        body={'instances': instances}
    ).execute()

    if 'error' in response:
        raise RuntimeError(response['error'])

    return response['predictions']

當模型在筆記本電腦上運行時，一旦我有了帶有圖形的tf.Session並恢復了所有變量，通過網絡的正向傳遞大約需要0.16s（批處理大小為1）。 但是，當我使用Cloud ML輸入相同的數據時，即使多次運行相同的腳本，前向傳遞也需要大約3.6 s。

我懷疑每次嘗試進行預測時都會從頭開始重新加載模型-是否有辦法在后台運行相同的tf.Session ，以便更快地生成預測？ 還是我在做其他錯誤的事情？

在此先感謝您的幫助！

Answer 1

1. 衡量您的計算機和Google雲之間的延遲？ 嘗試發送格式錯誤的URL並測量響應時間。

2. 檢查服務部署所在的區域。

3. 間隔30秒向服務發送五個請求。 延遲降低了嗎？