Azure 在 blob 中搜索元数据

Question

我试图找到一种方法来仅带回带有与特定数据匹配的元数据的 blob 存储中的项目。 所有字段都有一个名为“FlightNo”的键。

我真正想要的是一种查找包含与元数据匹配的所有文件（listBlobs）的方法，因此向上一级，然后遍历该组数据，并找到更多匹配项，因为每个文件都有 5 项元数据。

这是我迄今为止非常不友好的代码。

 foreach (IListBlobItem item in container.ListBlobs(null, false))
        {
            if (item.GetType() == typeof(CloudBlockBlob))
            {

                CloudBlockBlob blob = (CloudBlockBlob)item;

                blob.FetchAttributes();

                foreach (var metaDataItem in blob.Metadata)
                {
                    dictionary.Add(metaDataItem.Key, metaDataItem.Value);
                }

                if (dictionary.Where(r=>r.Key == "FlightNo" && r.Value == FlightNo).Any())
                {
                    if (dictionary.Where(r => r.Key == "FlightDate" && r.Value == FlightDate).Any())
                    {
                        if (dictionary.Where(r => r.Key == "FromAirport" && r.Value == FromAirport).Any())
                        {
                            if (dictionary.Where(r => r.Key == "ToAirport" && r.Value == ToAirport).Any())
                            {
                                if (dictionary.Where(r => r.Key == "ToAirport" && r.Value == ToAirport).Any())
                                {
                                    retList.Add(new BlobStorage()
                                    {
                                        Filename = blob.Name,
                                        BlobType = blob.BlobType.ToString(),
                                        LastModified = (DateTimeOffset)blob.Properties.LastModified,
                                        ContentType = blob.Properties.ContentType,
                                        Length = blob.Properties.Length,
                                        uri = RemoveSecondary(blob.StorageUri.ToString()),
                                        FlightNo = dictionary.Where(r => r.Key == "FlightNo").Select(r => r.Value).SingleOrDefault(),
                                        Fixture = dictionary.Where(r => r.Key == "FixtureNo").Select(r => r.Value).SingleOrDefault(),
                                        FlightDate = dictionary.Where(r => r.Key == "FlightDate").Select(r => r.Value).SingleOrDefault(),
                                        FromAirport = dictionary.Where(r => r.Key == "FromAirport").Select(r => r.Value).SingleOrDefault(),
                                        ToAirport = dictionary.Where(r => r.Key == "ToAirport").Select(r => r.Value).SingleOrDefault()
                                    });

                                }
                            }
                        }
                    }
                }

                dictionary.Clear();
            }
        }

谢谢。 斯科特

Answer 1

公认的答案是非常低效的，循环并加载每个 Blob 及其关联的元数据以检查值对于任何合理的数据量都不会很好地执行。

可以使用 Azure 搜索搜索 Blob 元数据。 可以创建包含 Blob 自定义元数据的搜索索引。

以下综合文章解释了这一切：

使用 Azure 搜索在 Azure Blob 存储中索引文档
使用 Azure 搜索搜索 Blob 存储

Answer 2

尽管仍处于预览阶段，但使用 Blob 索引，您现在可以对 Blob 元数据（标签）进行查询搜索。

在找到所需内容之前，您无需遍历所有 blob。

以下是全文摘录：

Blob 索引（一种托管二级索引，允许您存储多维对象属性来描述 Azure Blob 存储的数据对象）现在提供预览版。 Blob 索引建立在 Blob 存储之上，可为您的所有工作负载提供一致的可靠性、可用性和性能。 Blob Index 提供原生对象管理和过滤功能，允许您根据数据上设置的属性标签对数据进行分类和查找。

Answer 3

如果我正确理解您想要搜索包含您提到的所有 5 个项目元数据的 blob。 您可以使用以下代码来执行此操作。 我在我这边测试它，它工作正常。

var connectionString = "storage connection string";
CloudStorageAccount storageAccount = CloudStorageAccount.Parse(connectionString);
CloudBlobClient blobClient = storageAccount.CreateCloudBlobClient();
CloudBlobContainer container = blobClient.GetContainerReference("container");
var blobs = container.ListBlobs();
var blobList = new List<CloudBlockBlob>();
foreach (var item in blobs)
 {
      CloudBlockBlob blob = (CloudBlockBlob)item;

      blob.FetchAttributes();
      if (blob.Metadata.Contains(new KeyValuePair<string, string>("FlightNo", "FlightNoValue")) &&
         blob.Metadata.Contains(new KeyValuePair<string, string>("FlightDate", "FlightDateValue")) &&
         blob.Metadata.Contains(new KeyValuePair<string, string>("FromAirport", "FromAirportValue")) &&
         blob.Metadata.Contains(new KeyValuePair<string, string>("ToAirport", "ToAirportValue")) && 
         blob.Metadata.Contains(new KeyValuePair<string, string>("FixtureNo", "FixtureNoValue")))
      {
          blobList.Add(blob);
      }

Answer 4

您不能直接搜索元数据，但您可以使用从实际角度来看与元数据类似的标签。 标签由存储索引，搜索匹配 blob 的代码非常简单：

    var query = $"@container = 'invoices' AND brand = 'volvo'";
    
    await foreach (var blob in blobServiceClient.FindBlobsByTagsAsync(query))
    {
        Console.WriteLine($"Container: {blob.BlobContainerName}, Blob: {blob.BlobName}");
    }