在 Azure Blob 存储上上传大 Blob 时延长令牌过期时间

Question

我有一个 API，它为给定的 blob 名称生成并返回 SAS 个令牌。 然后在我的前端应用程序上，我使用 API 提供的响应（凭据）以及通过浏览器直接选择的文件来处理上传。

我正在使用blockBlobClient.uploadData function。这工作正常并且上传成功完成，但是我注意到 SAS 令牌被重新用于作为该 blob 的一部分上传和处理的所有块（我需要为 > 1GB 的文件做好准备), 因此，例如，如果我的服务器返回一个 5 分钟的过期令牌，而我的用户的连接速度很慢或部分中断，则文件可能需要超过 5 分钟才能完成上传，这最终会从 Azure Blob 向浏览器抛出错误API 和文件上传将停止。

我知道当然，一种方法是只发行寿命更长的令牌来解决这些情况，或者可能根据文件大小设置到期时间； 但我想知道是否有一种有效且不那么复杂的方式以某种方式延长令牌的过期时间（不会丢失我当前对该 blob 的上传进度），以便即使达到第一个过期时间也可以正确上传文件. 到目前为止还没有在文档中找到任何东西。

我将 NodeJs 用于我的后端 API， @azure/storage-blob npm package（我也在我的前端应用程序中使用）

希望这已经足够清楚了。

感谢您提供的任何帮助！

Answer 1

解决方案 1：为持续上传注入新的 SAS。 有时 SAS 会在大量上传完成之前过期，对于这种情况，我们希望在上传期间请求一个新的 SAS 令牌，而不是开始新的上传。

尝试使用此代码更新 SAS 以上传大文件。

async function upload() {
  const sasStore = new SasStore();

  const pipeline = Azure.StorageURL.newPipeline(
    new Azure.AnonymousCredential()
  );
  // Inject SAS update policy factory into current pipeline
  pipeline.factories.unshift(new SasUpdatePolicyFactory(sasStore));

  const url = "https://jsv10.blob.core.windows.net/mycontainer/myblob";
  const blockBlobURL = new Azure.BlockBlobURL(
    `${url}${await sasStore.getValidSASForBlob(url)}`, // A SAS should start with "?"
    pipeline
  );

  const file = document.getElementById("file").files[0];
  await Azure.uploadBrowserDataToBlockBlob(
    Azure.Aborter.none,
    file,
    blockBlobURL,
    {
      maxSingleShotSize: 4 * 1024 * 1024
    }
  );
}
/ azblob is default exported entry when importing Azure Storage Blob SDK by <script src="azure-storage.blob.js"></script>
// You can also import SDK by npm package with const Azure = require("@azure/storage-blob")
const Azure = azblob;

// SasStore is a class to cache SAS for blobs
class SasStore {
  constructor() {
    this.sasCache = {};
  }

  // Get a valid SAS for blob
  async getValidSASForBlob(blobURL) {
    if (
      this.sasCache[blobURL] &&
      this.isSasStillValidInNext2Mins(this.sasCache[blobURL])
    ) {
      return this.sasCache[blobURL];
    } else {
      return (this.sasCache[blobURL] = await this.getNewSasForBlob(blobURL));
    }
  }


// Return true if "se" section in SAS is still valid in next 2 mins
  isSasStillValidInNext2Mins(sas) {
    const expiryStringInSas = new URL(`http://host${sas}`).searchParams.get(
      "se"
    );
    return new Date(expiryStringInSas) - new Date() >= 2 * 60 * 1000;
  }

  // Get a new SAS for blob, we assume a SAS starts with a "?"
  async getNewSasForBlob(blobURL) {
    // TODO: You need to implement this
    return "?newSAS";
  }
}

class SasUpdatePolicyFactory {
  constructor(sasStore) {
    this.sasStore = sasStore;
  }
  create(nextPolicy, options) {
    return new SasUpdatePolicy(nextPolicy, options, this.sasStore);
  }
}

class SasUpdatePolicy extends Azure.BaseRequestPolicy {
  constructor(nextPolicy, options, sasStore) {
    super(nextPolicy, options);
    this.sasStore = sasStore;
  }

  async sendRequest(request) {
    const urlObj = new URL(request.url);
    const sas = await this.sasStore.getValidSASForBlob(
      `${urlObj.origin}${urlObj.pathname}`
    );
    new URL(`http://hostname${sas}`).searchParams.forEach((value, key) => {
      urlObj.searchParams.set(key, value);
    });

    // Update request URL with latest SAS
    request.url = urlObj.toString();

    return this._nextPolicy.sendRequest(request);
  }
}

请按照此github代码了解更多详细信息。要创建新的 SAS，请参阅此线程

解决方案 2：不上传大文件，而是分块上传文件 [方法将大文件拆分成较小的文件]。 分块上传文件，这样就可以上传更大的文件，而无需在单个 go 中完全读取它们。

更多详细信息请参阅此文档