Blob 存儲 - 直接在其上處理文件

Question

我需要一個有效的解決方案來遍歷位於 C# 中的 blob 存儲上的大文件。我想將 blob 存儲用作本地存儲。 在我的研究中，我只找到了必須下載或流式傳輸文件的解決方案。

是否可以直接遍歷 blob 存儲上的文件而無需將其下載到本地或下載到 stream？

Answer 1

是否可以直接遍歷 blob 存儲上的文件而無需將其下載到本地或下載到 stream？

簡單回答：不。您可以列出 blob，即它們的屬性。 但是如果你想真正使用這些內容，你需要從存儲帳戶下載它。 存儲是純 object 存儲。

Answer 2

如前所述，這是不可能的。 也許您可以將文件分成更小的塊，然后上傳/下載這些文件以進行操作。 例如，如果您有一個 1MB 的文件，請將其分成 10 KB 的塊，並在原始名稱中添加 integer 后綴以區分各個塊。 如果您需要文件的特定部分，請計算所需的塊 ID 並僅下載這些文件。

如果此方法適合您，則在很大程度上取決於您的數據。 是否可以按大小或其他一些標准（例如行數、json 個元素）拆分，更改一個塊內的數據是否會影響其他塊（例如按行拆分並將一行插入塊中）。 因此，請謹慎使用此方法並明智地選擇。

Answer 3

我沒有嘗試過，但我會嘗試使用文件共享來存儲大文件。 然后使用您的處理代碼創建一個 docker 圖像並將其推送到 azure 容器注冊表。 然后使用此映像創建一個容器實例，您可以將文件共享裝載到該容器實例。 Azure 容器實例僅在運行時計費。 每當需要處理大文件時，使用 SDK 啟動容器實例。