chmod/chown 在 EC2 上使用 S3FS 存儲的文件很慢

Question

我有一個帶有 s3fs 掛載的 EC2 服務器。

我注意到，如果我嘗試更改權限或所有者，需要 40 多秒到 1 分鍾。

$ ls -ltr directory
-rwxrwxrwx 1 apache apache 6444069321 Feb  6 15:54 big.zip
-rwxrwxrwx 1 apache apache 6444069321 Feb  6 16:12 big_1.zip
$date
Sat  6 Feb 17:30:43 UTC 2021
$ chown apache:apache big.zip
$ date
Sat  6 Feb 17:31:07 UTC 2021

但是，如果我在 Linux 服務器上執行相同操作，則更新它需要幾分之一秒。 請讓我知道建議以使其更快。

Answer 1

S3FS 嘗試使 S3-Bucket 顯示為本地文件系統的一部分，就好像它是常規塊存儲一樣，但事實並非如此。

S3 is object storage and that means if you want to edit parts of an object or metadata on the object, you need to overwrite the whole object, which is expensive in terms of time.

您更改存儲在 S3 中的文件的所有者將轉換為 S3 中object 元數據中的更改。 Object 元數據是不可變的，這意味着需要再次上傳整個 object 並附加新的元數據。

這與基於塊存儲的常規文件系統的工作方式根本不同。 在這種情況下，它只需將單個塊（通常大約 4KB-16KB）寫入設置位時更改的磁盤。 使用 S3，您需要重新上傳整個 object。

這是 S3FS 是一個泄漏抽象的情況。

---

如果您需要在多個 EC2 實例之間共享存儲，彈性文件系統 (EFS) 是一個更好的選擇，您應該研究一下。 您在上面描述的操作會快得多。