Spark S3完成分段上傳錯誤

Question

我使用Apache Spark進行數據處理，上傳到S3時偶爾會在日志中看到以下錯誤：

AmazonClientException：無法完成加密的分段上傳而不會告知哪個部分是最后一個

由於spark確實會在任務失敗時重試，因此大部分時間都可以。 但是，當重試耗盡導致作業失敗時，我遇到了問題。 除了重試之外，還有更好的方法來處理這些錯誤嗎？

謝謝

Answer 1

那很有意思。 沒看到那條消息，我目前正在協調大部分S3A Hadoop客戶端開發。

這是在Amazon EMR上，還是官方的，自包含的ASF版本？

如果是前者，您可以自己使用論壇和任何ASF支持合同。

如果是后者：在HADOOP項目（hadoop common）下的issues.apache.org上提交JIRA，列出組件fs / s3，在spark CP上聲明hadoop JAR的確切版本，並包括完整的堆棧跟蹤。