Apache Beam Python在Cloud Dataflow上引发503错误-为什么？

Question

运行Apache Beam Python图时，我从Cloud Dataflow中看到间歇性503错误。 为什么会这样呢？

错误是没有提供足够的上下文来解释问题根源。

File "/usr/local/lib/python2.7/dist-packages/apache_beam/io/gcp/gcsio.py", line 553, in finish
    raise self._upload_thread.last_error  # pylint: disable=raising-bad-type
HttpError: HttpError accessing <https://www.googleapis.com/resumable/upload/storage/v1/b/******/o?uploadType=resumable&alt=json&upload_id=AEnB2UotBsLaGqKqOtjpRZcvZLVmwiikA99j64_WEnOVh42zUt8F1m5hXxA-PwpUVJdtwhbfqAf5C-WJzJtsVfXg6vmGh9ogjA&name=temp%2Fbeamapp-cloude-0908010623-413022.1536368783.413249%2F5154533467808153215%2Fdax-tmp-2018-09-07_18_07_37-7050531770796171347-S01-0-406ba749ef65e1f5%2F-shard--try-15bbe0de7ff515c5-endshard.json>: response: <{'status': '410', 'content-length': '177', 'vary': 'Origin, X-Origin', 'server': 'UploadServer', 'x-guploader-uploadid': 'AEnB2UotBsLaGqKqOtjpRZcvZLVmwiikA99j64_WEnOVh42zUt8F1m5hXxA-PwpUVJdtwhbfqAf5C-WJzJtsVfXg6vmGh9ogjA', 'date': 'Sat, 08 Sep 2018 01:12:32 GMT', 'content-type': 'application/json; charset=UTF-8'}>, content <{
 "error": {
  "errors": [
   {
    "domain": "global",
    "reason": "backendError",
    "message": "Backend Error"
   }
  ],
  "code": 503,
  "message": "Backend Error"
 }
}
>

Answer 1

消息'HttpError访问

查看Cloud Storage错误代码 ，以下是对消息中显示的错误代码的说明：

410—Gone（）。 您试图使用不再可用的可恢复的上载会话。 如果报告的状态代码不成功，并且您仍然希望上传文件，则必须开始新的会话。

503-服务不可用（backendError）。 我们遇到内部错误。 请使用截断的指数补偿重试。

据此，该问题应该在稍后尝试后消失，但是如果没有，则可以尝试采用截断的指数补偿机制。

您的问题已经解决了吗？