增加要在 Azure 數據資源管理器（ADX、Kusto）中攝取的最大文件大小

Question

我目前正在將多 TB 數據攝取到 Azure 數據資源管理器集群（ADX aka Kusto DB）的數據庫中。 總的來說，我迭代了大約 30k 個文件。 其中一些只有幾 kB，但有些則高達 GB。

對於一些大文件，由於它們的文件大小，我遇到了錯誤：

FailureMessage(
    {
        ...
        "Details":"Blob size in bytes: '4460639075' has exceeded the size limit allowed for ingestion ('4294967296' B)",
        "ErrorCode":"BadRequest_FileTooLarge",
        "FailureStatus":"Permanent",
        "OriginatesFromUpdatePolicy":false,
        "ShouldRetry":false
    })

我能做些什么來增加允許的攝取量嗎？

Answer 1

有一個不可配置的 4GB 限制。

您應該拆分源文件（理想情況下，每個文件都有 100MB-1GB 的未壓縮數據）。

請參閱： https://docs.microsoft.com/en-us/azure/data-explorer/kusto/api/netfx/kusto-ingest-best-practices#optimizing-for-throughput