Apache Beam Python在Cloud Dataflow上引發503錯誤-為什么？

Question

運行Apache Beam Python圖時，我從Cloud Dataflow中看到間歇性503錯誤。 為什么會這樣呢？

錯誤是沒有提供足夠的上下文來解釋問題根源。

File "/usr/local/lib/python2.7/dist-packages/apache_beam/io/gcp/gcsio.py", line 553, in finish
    raise self._upload_thread.last_error  # pylint: disable=raising-bad-type
HttpError: HttpError accessing <https://www.googleapis.com/resumable/upload/storage/v1/b/******/o?uploadType=resumable&alt=json&upload_id=AEnB2UotBsLaGqKqOtjpRZcvZLVmwiikA99j64_WEnOVh42zUt8F1m5hXxA-PwpUVJdtwhbfqAf5C-WJzJtsVfXg6vmGh9ogjA&name=temp%2Fbeamapp-cloude-0908010623-413022.1536368783.413249%2F5154533467808153215%2Fdax-tmp-2018-09-07_18_07_37-7050531770796171347-S01-0-406ba749ef65e1f5%2F-shard--try-15bbe0de7ff515c5-endshard.json>: response: <{'status': '410', 'content-length': '177', 'vary': 'Origin, X-Origin', 'server': 'UploadServer', 'x-guploader-uploadid': 'AEnB2UotBsLaGqKqOtjpRZcvZLVmwiikA99j64_WEnOVh42zUt8F1m5hXxA-PwpUVJdtwhbfqAf5C-WJzJtsVfXg6vmGh9ogjA', 'date': 'Sat, 08 Sep 2018 01:12:32 GMT', 'content-type': 'application/json; charset=UTF-8'}>, content <{
 "error": {
  "errors": [
   {
    "domain": "global",
    "reason": "backendError",
    "message": "Backend Error"
   }
  ],
  "code": 503,
  "message": "Backend Error"
 }
}
>

Answer 1

消息'HttpError訪問

查看Cloud Storage錯誤代碼 ，以下是對消息中顯示的錯誤代碼的說明：

410—Gone（）。 您試圖使用不再可用的可恢復的上載會話。 如果報告的狀態代碼不成功，並且您仍然希望上傳文件，則必須開始新的會話。

503-服務不可用（backendError）。 我們遇到內部錯誤。 請使用截斷的指數補償重試。

據此，該問題應該在稍后嘗試后消失，但是如果沒有，則可以嘗試采用截斷的指數補償機制。

您的問題已經解決了嗎？