亞馬遜相當於谷歌存儲傳輸服務

Question

我在 GCP 中有一個包含數百萬個 3kb 文件的存儲桶，我想將它們復制到 S3 存儲桶中。 我知道谷歌有一個超快速的傳輸服務，但是我無法使用該解決方案將數據推送回 S3。

由於對象的數量，運行簡單的gsutil -m rsync gs://mybucket s3://mybucket可能無法完成這項工作，因為傳輸所有內容至少需要一周時間。

有比這更快的解決方案嗎？

Answer 1

在 AWS 方面，您可能想看看S3 Transfer Acceleration是否有幫助。 啟用它和命名它有特定的要求。 您可能希望確保存儲桶位於當前存儲數據的位置附近，但這可能有助於加快速度。

Answer 2

我們在將小文件推送到 S3 時遇到了同樣的問題。 壓縮並將其存儲回原處執行相同的操作。 這是為您的帳戶設置的限制。

如文檔中所述，您需要在發送大量請求之前打開支持票以增加限制。

https://docs.aws.amazon.com/AmazonS3/latest/dev/request-rate-perf-thinkations.html

在這里，文件的大小或所有對象的大小並不重要。 這是您擁有的文件數量的問題。

希望能幫助到你。

Answer 3

就我個人而言，我認為您將遇到的主要問題不是 Amazon S3 服務的入口率，而是 Google 網絡的網絡出口率。 即使您啟用了 S3 Transfer Acceleration 服務，您仍然會受到 Google 網絡的出口速度的限制。

您可以設置其他服務，這些服務可能有助於加快流程。 也許可以研究一種互連解決方案，它允許您在網絡之間建立快速鏈接。 設置最簡單的解決方案是Cloud VPN解決方案，它可以讓您在 AWS 和 Google 網絡之間設置快速上行鏈路（每個隧道 1.5-3 Gbps）。

否則，根據您的數據要求，傳輸 3,000 GB 的數據量並不可怕，設置雲服務器以在一周內傳輸數據也不算太糟糕。 您可能會發現，當您設置另一個解決方案時，首先啟動機器並讓它運行一周可能會更容易。